Na década de 50, o matemático Alan Turing criou um teste para identificar se uma máquina poderia ser considerada inteligente. O jogo, que depois ficou conhecido como “Teste de Turing”, consistia em colocar um humano para conversar por texto com outro semelhante e uma máquina, sem saber suas verdadeiras identidades. O participante, então, deveria descobrir com quem conversava.

Mais de 70 anos depois, pesquisadores da Universidade de Zurique, na Suíça, realizaram um teste parecido com o objetivo de analisar a capacidade de um modelo de linguagem baseado em Inteligência Artificial (IA) de informar. E os resultados mostraram que essa tecnologia atualmente consegue produzir informações e desinformações de maneira mais convincente do que os humanos.

O estudo “Modelo de IA GPT3 nos (des)iforma melhor que humanos”, publicado no final de junho na revista científica Science Advances, buscou analisar a capacidade de pessoas de distinguir informações verídicas e falsas e daquelas produzidas por humanos e IA. A pesquisa contou com a participação de 697 voluntários de países como Reino Unido, Canadá e Estados Unidos.

Primeiro, os pesquisadores pediram ao GPT-3, sistema que dá base ao ChatGPT, que escrevesse textos em formato de tuítes contendo informações verídicas e falsas sobre tópicos como vacinas, tecnologia 5G, Covid-19 e teorias de evolução. Em seguida, coletaram tuítes escritos por usuários reais sobre os mesmos assuntos disponíveis publicamente no Twitter. O conjunto de textos, então, foi mostrado aos participantes, que deveriam identificar se uma informação era falsa ou verídica e se ela foi escrita por humanos ou por IA.

De acordo com os dados obtidos, os autores concluíram que os participantes tiveram mais dificuldade em reconhecer tuítes desinformativos gerados sinteticamente do que aqueles produzidos por humanos. As pessoas também identificaram com mais facilidade conteúdos verdadeiros criados por IA em relação aqueles criados por usuários reais.

“O GPT3 é uma faca de dois gumes: em comparação com humanos, eles podem produzir informações acuradas que são mais fáceis de entender, mas também produzem desinformações mais atraentes”, afirmaram os autores. Em março deste ano, a OpenAI, empresa desenvolvedora do ChatGPT, atualizou o sistema lançado o GPT4, mais robusto e potente que a terceira versão, utilizado no artigo.

Apesar desses resultados, o estudo também identificou que os humanos possuem maior capacidade de avaliar a acurácia das informações do que sistemas de IA, após submeterem o mesmo teste ao próprio GPT3. “Humanos treinados podem performar melhor do que máquinas nesta atividade”, afirmaram.

IA se recusa a produzir desinformação vacinal

Durante a produção dos tuítes com desinformação, o sistema de IA utilizado desobedeceu alguns pedidos dos cientistas e não produziu os conteúdos solicitados, principalmente em relação a tópicos que relacionam a vacinação com o autismo. Os autores sugerem, dessa forma,  que a tecnologia “é capaz de recusar a produção de desinformação”. 

A principal razão para isso, ainda conforme os pesquisadores, está nas bases de dados utilizadas para o treinamento dos sistemas, que possivelmente devem conter mais informações acuradas do que teorias da conspiração sobre o tópico. Em contraposição, um experimento realizado pelo New Guard, em fevereiro deste ano, mostrou que 80% das vezes o ChatGPT fez afirmações enganosas sobre tópicos importantes sobre notícias.

“Para reduzir o risco de gerar desinformação, sugerimos que os futuros transformadores de texto sejam treinados em conjuntos de dados regulados pelos princípios de precisão e transparência: as informações que entram nos conjuntos de dados de treinamento devem ser verificadas e sua origem deve estar aberta para escrutínio independente”, apontam.

Os pesquisadores também defendem que, enquanto não tivermos estratégias eficientes de identificação de desinformação produzida por essas sistemas, os usos da tecnologia devem ser limitados a “usuários de confiança” e específicas aplicações.