Imagine que uma mulher está navegando na rede social X. Em algum momento, ela publicou uma foto no ambiente de trabalho, vestindo terno, calça e sapato social. A imagem, em tese banal, passa a circular na plataforma. Pouco depois, usuários começam a fazer solicitações ao Grok para que a foto seja alterada. O pedido é que a imagem seja refeita com a mulher usando biquíni, roupas íntimas ou completamente nua.

O Grok é uma ferramenta de inteligência artificial generativa desenvolvida pela xAI e integrada à plataforma X (antigo Twitter), capaz de produzir textos e imagens a partir de comandos feitos pelos usuários. Desde agosto de 2024, o sistema passou a contar com o Grok Imagine, uma atualização que ampliou significativamente suas capacidades de geração de imagens e vídeos.

Diferente de ferramentas concorrentes, o recurso opera com níveis mais baixos de restrição e inclui modos que incentivam a produção de conteúdo sexualizado, permitindo a criação de imagens fotorrealistas ou estilizadas a partir de descrições simples ou de fotos enviadas pelos próprios usuários.

Com o uso dessa ferramenta, situações como a descrita no início desta reportagem têm se repetido de forma cotidiana e não atingem apenas mulheres adultas. Há relatos que envolvem também o uso de imagens de crianças e adolescentes, no Brasil e em diversos outros países, configurando um padrão de produção não consensual de imagens sexualizadas mediadas por ferramentas de inteligência artificial.

Violações no Grok são recorrentes

Desde o seu lançamento, em 2023, o Grok vem sendo denunciado por possíveis violações de direitos humanos, incluindo a geração de conteúdos com discurso de ódio e antissemitismo. Também são recorrentes as críticas sobre vieses políticos, como a exaltação da direita e de temas associados ao proprietário da plataforma, Elon Musk.

A nova onda de denúncias, que ganhou tração a partir de dezembro, amplia a gravidade do debate ao evidenciar que, ao integrar de forma ampla e pouco restritiva uma ferramenta de geração de imagens como o Grok à dinâmica da rede social X, a plataforma acaba ampliando exponencialmente o número de usuários capazes de produzir deepnudes.

 

Se antes esse tipo de produção exigia conhecimentos técnicos específicos ou o acesso a ferramentas menos disseminadas, agora, com um simples comando, usuários da rede social X conseguem violar as imagens de mulheres, crianças e adolescentes. 

Para a diretora de pesquisa do InternetLab, Clarice Tavares, esse fenômeno não representa uma ruptura, mas a intensificação de uma violência já conhecida no ambiente digital. “As deepfakes sexuais são um desdobramento da disseminação não consensual de imagens íntimas”, afirma.

Segundo ela, o que muda nesse novo cenário é a escala e o alcance do dano, já que “as plataformas estão cada vez mais acessíveis, rápidas e exigem cada vez menos material para produzir uma deepfake relativamente convincente”.

Uma compilação realizada pela consultoria Genevieve Oh, com base em um único dia de monitoramento (5 a 6 de janeiro), identificou que o Grok gerou cerca de 6.700 posts por hora com imagens de pessoas sexualizadas no X, número 85 vezes superior ao registrado, no mesmo período, em outras cinco plataformas analisadas, que somaram 79 publicações por hora.

Reações internacionais

Diante desse cenário, governos de diferentes regiões do mundo passaram a reagir. Indonésia e Malásia foram os primeiros países a anunciar a suspensão do Grok, adotando a medida como ação preventiva diante da ausência de salvaguardas eficazes contra a produção de conteúdos sexualizados não consensuais, inclusive envolvendo crianças.

Na Europa, o cerco regulatório também se intensificou. A Comissão Europeia iniciou análises sobre possíveis violações das regras do bloco, enquanto na França e na Itália foram abertas investigações e emitidos alertas formais sobre o uso do Grok para a geração de imagens sexualmente explícitas e não consensuais.

No Reino Unido, além da investigação da reguladora Ofcom sobre a rede social X, a ministra da Tecnologia, Liz Kendall, afirmou ao parlamento que uma nova lei que criminaliza a criação de imagens íntimas sem consentimento entrará em vigor nesta semana. 

Outros países, como Alemanha e Austrália, sinalizaram mudanças legislativas, monitoramento ativo e possíveis sanções às plataformas, ampliando o escrutínio sobre ferramentas de inteligência artificial generativa integradas a redes sociais.

O movimento regulatório também chegou aos Estados Unidos. O procurador-geral da Califórnia, Rob Bonta, abriu uma investigação contra a xAI para apurar se a plataforma “facilitou a produção em larga escala de montagens íntimas não consentidas (deepfakes)”, usadas para assediar mulheres e meninas no X. 

Contexto brasileiro

No Brasil, o Instituto Brasileiro de Defesa do Consumidor (Idec) protocolou dois pedidos de suspensão do Grok, um direcionado à Agência Nacional de Proteção de Dados (ANPD) e outro aos integrantes do Comitê Intersetorial para a Proteção dos Direitos da Criança e do Adolescente no Ambiente Digital, citando riscos e violações de direitos.

Segundo o Idec, a denúncia aponta a existência de dano de difícil reparação, o que pode justificar a adoção de medidas imediatas, como a abertura de procedimento de apuração, o envio de pedidos formais de esclarecimento à empresa e a avaliação de medidas preventivas para interromper o uso indevido de dados pessoais.

Para Julia Abad, especialista do Programa de Telecomunicações e Direitos Digitais do Idec, é essencial que a resposta das autoridades vá além de recomendações. “A ANPD precisa exercer seu papel fiscalizador e exigir transparência, medidas de segurança e responsabilização da empresa”, afirma.

Paralelamente, a deputada federal Érika Hilton (PSOL/SP) apresentou uma representação ao Ministério Público Federal contra o Grok e a plataforma X.

Em postagem em rede social, a parlamentar afirmou que “o direito à imagem é individual, não é transferível por meio dos termos de uso de uma rede social, e a distribuição em massa de pornografia infantil por uma inteligência artificial integrada a uma plataforma ultrapassa todos os limites”.

Medidas da empresa

No dia 9, veículos internacionais identificaram que a geração e edição de imagens pelo Grok havia sido restrita, de forma parcial, a usuários pagantes. Já na última quarta-feira (14), segundo informações do O Globo, diante da escalada de denúncias e das críticas globais, a plataforma X anunciou novas medidas para tentar conter o uso do Grok na produção de deepnudes de pessoas reais. 

Em comunicado, a empresa afirmou que irá “bloquear geograficamente” a capacidade de usuários do Grok e da própria rede social X de criar imagens de pessoas usando “biquínis, roupas íntimas e outras peças similares” em países onde esse tipo de conteúdo é considerado ilegal.

A equipe de segurança da plataforma declarou ainda que foram implementadas “medidas tecnológicas para impedir que a conta do Grok permita a edição de imagens de pessoas reais com roupas reveladoras”, acrescentando que a restrição passa a valer para todos os usuários, inclusive assinantes dos planos pagos.

O que a legislação brasileira já prevê?

Embora o Brasil ainda não tenha uma lei específica para regular sistemas de inteligência artificial, o ordenamento jurídico já oferece instrumentos para responsabilizar plataformas e coibir a produção e circulação de deepnudes. Segundo especialistas, essas ferramentas estão distribuídas entre diferentes marcos legais.

No campo do consumo digital, o Código de Defesa do Consumidor pode ser acionado quando plataformas colocam no mercado serviços com falhas previsíveis de segurança.

Para Julia Abad, a responsabilidade não pode recair apenas sobre quem cria o conteúdo. “Quando a plataforma lucra e não implementa barreiras reais, ela responde por defeito do serviço e tem dever de prevenção”, afirma.

A Lei Geral de Proteção de Dados (LGPD) também permite enquadrar o uso indevido de imagens, dados biométricos e informações sensíveis, especialmente quando envolvem crianças e adolescentes. Já o Marco Civil da Internet estabelece deveres de transparência e cooperação das plataformas na remoção de conteúdos ilegais.

No caso de vítimas menores de idade, a legislação é ainda mais clara. O Estatuto da Criança e do Adolescente (ECA) criminaliza, desde 2008, a simulação de cenas sexuais envolvendo crianças ou adolescentes por meio de adulteração de imagens. “Não precisa falar em deepnude. A lei já prevê como crime simular participação em cena pornográfica, independentemente se a tecnologia usada para isso é Photoshop ou IA”, explica Gustavo Souza, especialista em Estratégia de IA do Programa das Nações Unidas para o Desenvolvimento (PNUD/ONU).

O que falta?

Apesar desse arcabouço, especialistas apontam que ainda há lacunas específicas quando o tema é a atuação de sistemas de inteligência artificial. Para Julia Abad, o principal problema é a ausência de obrigações preventivas claras. “Sem uma lei específica, o Estado segue reagindo a danos já consumados. O que falta são regras que imponham avaliação de impacto, salvaguardas técnicas e deveres objetivos de cuidado”, afirma.

Nesse cenário, o Projeto de Lei nº 2.338/2023, que pretende estabelecer o marco legal da inteligência artificial no país e cuja  votação foi adiada para este ano, aparece como a principal tentativa de criar um marco regulatório para a IA no país. No entanto, seu texto ainda é insuficiente para lidar diretamente com práticas como a produção de deepnudes, avalia Gustavo Souza. “O projeto define conteúdo sintético, mas não entra de maneira concreta nessa discussão”, afirma.

Para Souza, o Brasil deveria avançar para medidas mais duras. “Eu particularmente acredito que o país deveria estar caminhando em direção ao banimento dessas ferramentas”, diz, ao comparar os impactos desse tipo de tecnologia na esfera privada a outras aplicações controversas da IA no espaço público.

Regulação em camadas: o que pode ser feito

Para enfrentar o problema de forma estrutural, o InternetLab defende uma abordagem baseada em múltiplas frentes. Segundo Clarice Tavares, diretora de pesquisa da organização, é preciso pensar em uma “regulação em camadas”, que acompanhe todo o ciclo de vida das deepfakes, da produção à circulação. As principais frentes apontadas são:

1. Responsabilização das empresas de IA: A primeira camada envolve quem desenvolve as ferramentas. Para Clarice, as deepfakes deveriam ser tratadas como tecnologias de alto risco, e, no caso das versões sexuais, como “risco excessivo”. Isso implicaria restrições severas ou até proibição. “É razoável exigir medidas de safety by design que criem barreiras e impeçam a inserção de comandos de cunho sexual”, afirma.
2. Responsabilização de usuários: A segunda frente diz respeito a quem cria esse tipo de conteúdo. Aqui entram sanções civis e criminais, ainda que, segundo a pesquisadora, “respostas penais, por si só, não dão conta do problema”, mas podem ter efeito simbólico e dissuasório.
3. Deveres das plataformas: A terceira camada recai sobre redes sociais e serviços que hospedam esse material. Clarice destaca que essas empresas já possuem tecnologia para detectar abuso infantil e pornografia. “É razoável exigir que esses mesmos esforços sejam aplicados ao enfrentamento das deepfakes sexuais”, diz.
4. Proteção às vítimas: Outro eixo central é o apoio às pessoas afetadas. Isso inclui assistência jurídica, psicológica e social, além do reconhecimento institucional de que se trata de uma forma de violência de gênero. Para Clarice, é fundamental tratar o tema como um problema estrutural, e não como casos isolados.
5. Educação pública e cidadania digital: Por fim, a pesquisadora aponta a necessidade de investir em educação midiática. “Essa discussão muitas vezes fica restrita aos impactos eleitorais, mas a dimensão de gênero é central”, afirma. O objetivo é ampliar a capacidade da população de reconhecer conteúdos sintéticos, identificar violações e compreender os riscos associados a essas tecnologias.