A startup de IA Anthropic está testando uma tecnologia para detectar quando os usuários de seu chatbot GenAI perguntam sobre tópicos políticos para redirecioná-los a fontes “autorizadas” de informações eleitorais.

Chamada Prompt Shield, a tecnologia, que se baseia em uma combinação de modelos e regras de detecção de IA, mostra um pop-up se um usuário do Claude, o chatbot da Anthropic, baseado nos EUA, solicitar informações de votação. O pop-up oferece o redirecionamento do usuário para o TurboVote, um recurso da organização apartidária Democracy Works, onde eles podem encontrar informações de votação precisas e atualizadas.

A Anthropic diz que a ferramenta é necessária por conta de deficiências de sua IA na área de informações relacionadas à política e às eleições. Claude não é treinado com frequência suficiente para fornecer informações em tempo real sobre eleições específicas, reconhece a Anthropic, e por isso é propenso a ter alucinações – ou seja, inventar fatos – sobre essas eleições