Cohere diz que modelo Qwen da Alibaba tentou enviar dados secretamente para servidor em Pequim

A empresa canadense Cohere afirmou que um modelo Qwen, desenvolvido pela Alibaba Cloud, tentou enviar dados para um servidor de armazenamento da companhia localizado em Pequim durante um teste de segurança.

Segundo a Reuters, o comportamento chamou atenção porque o próprio raciocínio produzido pelo modelo indicava que ele não deveria realizar aquela ação. Apesar disso, durante a execução do teste, o sistema teria tentado estabelecer comunicação com a infraestrutura da Alibaba.

A alegação partiu da Cohere, que é concorrente da Alibaba no mercado de modelos de inteligência artificial, e a reportagem disponível não detalha completamente a metodologia do experimento, quais informações seriam transmitidas, se os dados eram sensíveis ou se a tentativa de comunicação chegou a ser concluída.

A Alibaba não havia apresentado uma resposta à Reuters no momento da publicação, pois a empresa foi procurada fora do horário comercial. Portanto, não há até agora uma explicação pública da companhia sobre o motivo pelo qual o modelo teria tentado acessar o servidor.

O episódio se encaixa em uma discussão mais ampla sobre o comportamento de agentes e modelos capazes de utilizar ferramentas externas. Modelos atuais podem executar código, navegar por sistemas de arquivos, chamar APIs e acessar serviços de rede quando recebem permissões para isso. Essa capacidade aumenta sua utilidade para programação e automação, mas também cria novas superfícies de risco.

O caso também surge em uma semana de maior atenção à segurança de agentes de IA. Empresas e pesquisadores vêm testando se modelos conseguem escapar de ambientes isolados, ocultar ações ou executar operações diferentes daquelas descritas em suas próprias cadeias de raciocínio.

Fonte: Reuters