Trinta pesquisadores líderes de inteligência artificial se uniram para pedir mais investigação sobre técnicas de monitoramento para os modelos de raciocínio da IA, chamados de “pensamentos”. O documento, publicado na terça-feira, 15, foi assinado por funcionários de empresas concorrentes, como OpenAI, Google DeepMind e Anthropic, além de organizações sem fins lucrativos. Portanto, ele reflete união para, em meio à intensa competição, aumentar a pesquisa em segurança de IA.

Juntos, os pesquisadores destacam a importância do monitoramento das chains-of-thought (CoTs), ou cadeias de raciocínio, usadas por modelos como o o3, da OpenAI, e o R1, da DeepSeek. Elas são um processo externo por meio do qual as IAs resolvem problemas de forma semelhante ao raciocínio humano, por exemplo, ao resolver questões complexas em papel.

Esses “pensamentos” são essenciais para o funcionamento dos agentes de IA. Por isso, pesquisadores defendem que o monitoramento dessas cadeias é uma medida crucial de segurança à medida que os modelos de IA se tornam mais avançados e amplamente usados. “O monitoramento das CoTs oferece uma valiosa visão sobre como os agentes de IA tomam decisões”, afirmam os autores do documento. “No entanto, não há garantia de que o nível atual de visibilidade continuará. Incentivamos a pesquisa para preservar essa visibilidade.”

Pesquisadores também solicitam que desenvolvedores de modelos de IA investiguem o que torna as CoTs "monitoráveis", ou seja, quais fatores aumentam ou diminuem a transparência sobre como eles chegam às suas respostas. Embora o monitoramento das CoTs seja visto como uma chave para entender os modelos de raciocínio, eles alertam que essa abordagem pode ser frágil e que intervenções que comprometam sua transparência devem ser evitadas.

Em setembro de 2024, a OpenAI lançou uma prévia do seu modelo de raciocínio, o o1, seguido por concorrentes com desempenho semelhante de empresas como Google DeepMind, xAI e Anthropic. No entanto, ainda se sabe pouco sobre como esses modelos realmente funcionam.

A desenvolvedora do modelo Claude é uma das líderes da área chamada de "interpretabilidade" da IA, com o CEO da Anthropic, Dario Amodei, tendo anunciado o compromisso de abrir a caixa-preta dos modelos até 2027.

Quais foram alguns dos signatários?

Entre os signatários do documento estão Mark Chen (OpenAI), Ilya Sutskever (Safe Superintelligence), Shane Legg (Google DeepMind), Dan Hendrycks (xAI) e John Schulman (Thinking Machines Labs).

A diversa lista também inclui nomes como Yoshua Bengio, pioneiro, referência e crítico da corrida bilionária pela IA, além de ter sido endossada por Geoffrey Hinton, padrinho da tecnologia e laureado com o Prêmio Nobel de Física de 2024.