Após erros históricos, étnicos e raciais, o Google anunciou ontem (22) que irá suspender a capacidade do Gemini, sua inteligência artificial lançada no início do mês, de gerar imagens de pessoas. “Já estamos trabalhando para resolver problemas recentes com o recurso de geração de imagens do Gemini. Enquanto fazemos isso, pausaremos a geração de imagens de pessoas e relançaremos uma versão melhorada em breve”, disse a big tech em um post no X (ex-Twitter).
O erro veio à tona com uma publicação no X, em que um usuário mostrou os resultados que o Gemini produziu a partir do comando (prompt) de gerar imagens dos fundadores dos Estados Unidos, de Vikings e do papa. Ao invés de mostrar imagens de homens brancos – o que deveria ocorrer nesses casos -, a IA gerou uma diversidade étnica que não corresponde com os fatos históricos. No comando do papa, inclusive, o Gemini produziu a imagem de uma mulher como a líder da Igreja Católica, o que é proibido pela religião.
A partir disso, diversos outros testes foram feitos por usuários. Um deles solicitou a criação de imagens de soldados alemães durante a Segunda Guerra Mundial e o resultado também trouxe imagens diversas que não representam os fatos históricos, principalmente em meio à Alemanha nazista da época.
A empresa já tinha reconhecido o erro na quarta-feira (21), quando confirmou que estava “ciente” de que a IA estava produzindo “imprecisões em algumas representações históricas de geração de imagens”. “Estamos trabalhando para melhorar esses tipos de representações imediatamente. A geração de imagens Al de Gêmeos gera uma ampla gama de pessoas. E isso geralmente é bom porque pessoas ao redor do mundo o usam. Mas aqui está errando o alvo”, disse o Google no comunicado.
“A produção de imagens com erros históricos pode distorcer a compreensão do passado e gerar controvérsias e até desinformação que é um tópico que precisa ser transversalizados em casos assim. A repercussão negativa mostra como as questões de representatividade e precisão histórica são sensíveis e devem ser abordadas com cautela”, analisou a cientista da computação Nina Da Hora.
O The Washington Post entrevistou Margaret Mitchell, ex-co-líder de IA Ética do Google e cientista-chefe de ética da start-up de IA Hugging Face, ela acredita que esses resultados poderiam ter sido causados por intervenções do Google. A especialista sugere que possam ter sido adicionados termos de diversidade étnica às solicitações dos usuários ou ter dado maior prioridade à exibição de imagens geradas com base em tons de pele mais escuros. Mas, para ela, essas possíveis correções abordam o preconceito com as alterações feitas após o treinamento do sistema de IA. “Em vez de nos concentrarmos nessas soluções posteriores, deveríamos nos concentrar nos dados. Não precisamos ter sistemas racistas se organizarmos bem os dados desde o início”, disse ela ao jornal estadunidense.
IA e vieses
A repercussão da situação, no entanto, causou grande revolta. Nas redes, surgiram comentários de que “estão tentando mudar a história” ou que “estão apagando os brancos da história”. O número de pessoas trabalhando nas equipes de diversidade e inclusão também foi questionado – por ser alto demais. Um dos principais expoentes dessa revolta foi o bilionário Elon Musk, que acusou o Google de censura, criticou os vieses e taxou a IA generativa de “racista e sexista”.
“Me parece um uso narrativo um pouco deturpado do caso, principalmente em uma tentativa de estigmatizar quem está propondo discussões sobre racismo algorítmico. É preciso ter cuidado para pular dessa percepção de que existe um problema nas bases de dados que não foi capaz de compreender essas nuances sobre construção histórica para uma conclusão megalomaníaca de apagamento da história, me parece um aproveitamento”, avalia Clarice Tavares, coordenadora de pesquisa, Desigualdades e Identidades do InternetLab.
Tavares explica que o caso em questão é muito diferente de questões que vinham sendo discutidas em relação à tecnologia e seus vieses. Ela recorda de denúncias da estigmatização de um corpo de mulheres ou de casos que pessoas negras afirmam ao pedir para a IA produzir uma imagem sua, a pessoa é colocada em um contexto de violência, de favela, de pobreza, ainda que isso não tenha sido colocado no comando, como ocorreu no caso da deputada Renata Souza.
Há anos os algoritmos são apontados como racistas e misóginos por pesquisadores e estudiosos da área. O pesquisador Tarcízio Silva explica, em seu site, que o racismo algorítmico é o modo pelo qual as tecnologias e os imaginários que as rondam, moldados num mundo marcado pela supremacia branca, realiza a ordenação algorítimica de forma racializada em detrimento de grupos minorizados. “Tal ordenação pode ser vista como uma camada adicional do racismo estrutural, que, além do mais, molda o futuro e os horizontes de relações de poder”.
Testes com IAs generativas mostraram, por exemplo, que, quando recebem um prompt de comando para criar a imagem de uma pessoa profissional de cirurgia (em inglês cirurgião e cirurgiã possuem a mesma grafia), a IA na maioria das vezes cria um cirurgião homem branco. Esse teste, em novembro do ano passado, foi realizado no DALL-E 2 da OpenAI, Midjourney versão 5.1 da Midjourney e Stable Diffusion 2.1 da Stable AI.
Por causa dessas distorções, analisa a coordenadora do InternetLab, é necessário que as tecnologias sejam construídas com base de dados mais diversas, mais precisas, e que existam códigos abertos para que as pessoas também possam colaborar para construção dessas dessas bases de dados que alimentam as IAs generativas.
A pesquisadora Nina Da Hora destaca que, mesmo com o debate anterior sobre os vieses da IA, a reação tardia vista agora pode ser um reflexo da falta de conscientização sobre o problema ou a própria complexidade técnica envolvida na identificação e mitigação de vieses e preconceitos. “O aumento da conscientização sobre os impactos negativos dos vieses na IA levou a um maior escrutínio e pressão para a correção desses problemas”, pontua a especialista.