Jacob Coxon, pesquisador de inteligência artificial que trabalhou com pré-treinamento na Anthropic, anunciou na terça-feira (8) a saída da empresa. No mesmo dia, o engenheiro, que também já fez parte do time da OpenAI nos últimos três anos, publicou no X uma crítica contundente: “Nenhuma das duas empresas está agindo de forma responsável”, escreveu.

Segundo Coxon, OpenAI e Anthropic estão “correndo diretamente para uma superinteligência autoaperfeiçoável e apostando com nossas vidas”. Na avaliação dele, esses sistemas poderão, em um futuro próximo, superar capacidades humanas em diferentes áreas, incluindo a possibilidade de realizar ataques cibernéticos, transformar campos inteiros de atividade e adquirir poder e recursos.

Para Coxon, o risco já é conhecido por parte das pessoas que trabalham no setor. “As pessoas que constroem IA acreditam sinceramente que ela poderia matar todos nós até o fim da década”, afirmou. Entretanto destacou que essa percepção de risco não necessariamente aparece nas declarações públicas de executivos e pesquisadores, que tenderiam a adotar uma linguagem mais moderada diante da imprensa.

Na avaliação do pesquisador, há uma diferença entre as duas empresas. Na OpenAI, disse, muitos ainda não teriam “internalizado profundamente os riscos civilizacionais”. Na Anthropic, por outro lado, “os riscos são bem compreendidos, mas eles estão presos em uma corrida para chegar lá primeiro”.Coxon classificou essa corrida como uma aposta de alto risco: “Aceitar essa corrida e entrar no ‘endgame’ é uma aposta arrogante que não deveria ser lançada a partir do Slack de uma empresa privada”.

Ao final da publicação – que já conta com mais de 152 milhões de visualizações – Coxon dirigiu um apelo a pesquisadores que trabalham nos laboratórios de IA. Ele questionou se eles estariam dispostos a iniciar treinamentos de sistemas superinteligentes sem uma compreensão rigorosa de seu funcionamento e comportamento, ou se deveriam aproveitar o momento para defender condições diferentes para o desenvolvimento da tecnologia.

Pesquisadores da Anthropic reforçam alerta

A publicação repercutiu entre pesquisadores que trabalham ou trabalharam em laboratórios de IA. Samuel Marks, que atua com Scalable Oversight na Anthropic, fez questão de dizer que falava em caráter pessoal, mas afirmou que a publicação de Coxon “vale muito a pena ser lida”.

“Desenvolvedores de IA acreditam que sua tecnologia poderia causar a extinção humana”, escreveu Marks. Segundo ele, isso poderia acontecer nos próximos anos e, “em geral, quanto mais sênior o funcionário, mais preocupado ele está”.

Marks também apontou o que considera uma das razões para a continuidade do desenvolvimento: uma combinação entre incentivos comerciais e o receio de que concorrentes menos responsáveis avancem primeiro.

O pesquisador afirmou ainda que os laboratórios não possuem atualmente uma forma robusta de garantir que sistemas avançados se comportem como desejado. Existem, segundo ele, “métodos que podem direcionar as IAs para um comportamento melhor, mas nada que as alinhe de forma robusta”.

Evan Hubinger, líder de Alignment Science da Anthropic, foi ainda mais direto ao responder Coxon: “Jacob está correto aqui: nós realmente acreditamos que a IA poderia matar todos os humanos!”Hubinger afirmou considerar que a probabilidade disso acontecer na próxima década é superior a 10%.

Ao mesmo tempo, fez uma distinção entre os sistemas atuais e o cenário que considera mais preocupante: “Acho que o risco dos modelos atuais é baixo”, escreveu. A preocupação, segundo ele, está no surgimento de uma superinteligência por meio do autoaperfeiçoamento recursivo.“Ainda não temos um plano para resolver o alinhamento da superinteligência e não estamos claramente no caminho para isso”, afirmou.

Ex-pesquisadores também se manifestam

Alex Turner, ex-pesquisador do Google DeepMind, afirmou ter deixado a empresa em junho e concordou com Coxon: “Muitos pesquisadores acreditam que estão construindo algo que poderia matar todo mundo no planeta”.

“Literalmente, era meu trabalho pensar em como impedir isso”, acrescentou.

Jonathan Richard Schwarz, que deixou o DeepMind após sete anos, também relacionou sua saída às preocupações com a concentração de poder nas empresas de IA. Segundo ele, o que está acontecendo no setor é “profundamente prejudicial para a sociedade”.

OpenAI admite preocupação com ritmo do desenvolvimento 

Em um texto publicado no blog da OpenAI em 6 de setembro, Jakub Pachocki, Cientista Chefe da empresa, afirmou ter “forte expectativa” de que o atual ritmo de avanço da IA possa se sustentar até uma fase de autoaperfeiçoamento recursivo.

Para ele, os sistemas dos próximos anos devem apresentar novos saltos de capacidade e “cada vez mais conduzir seu próprio desenvolvimento”. Pachocki classificou o momento como de “extrema cautela”, afirmou que intervenções mais amplas são necessárias e defendeu que é necessário combinar avanços em alinhamento e monitoramento com a possibilidade de desacelerar o desenvolvimento. “Nenhum laboratório resolveu alinhamento e monitoramento em grau suficiente para continuar aumentando a escala com responsabilidade na velocidade máxima por muito mais tempo”, explicou.

Declaração pede freio à corrida pela superinteligência

Os alertas sobre os riscos de uma corrida entre empresas de IA também aparecem em uma iniciativa que reúne especialistas, tecnólogos, acadêmicos, artistas, trabalhadores e organizações de diferentes áreas. A Declaração Pró-Humana sobre a IA, elaborada com facilitação do Future of Life Institute, defende que o desenvolvimento da tecnologia seja orientado pela segurança, pelo controle humano e pela responsabilização das empresas.

Entre seus princípios estão a defesa de que humanos permaneçam no controle dos sistemas, a proibição de uma corrida pela superinteligência até que seja possível demonstrar que ela pode ser desenvolvida de forma segura e controlável, a existência de mecanismos de desligamento e a supervisão independente de sistemas altamente autônomos. O documento também pede medidas para evitar a concentração de poder e garantir que as empresas sejam responsabilizadas pelos danos causados por seus sistemas.

No Brasil, a iniciativa vem sendo divulgada pela Eko. A declaração já reúne centenas de milhares de assinaturas e convoca o público a apoiar uma visão de desenvolvimento da IA que “sirva à humanidade, não o contrário”, em vez de uma corrida para substituir pessoas.