Recentemente, enquanto navegava pelo celular, percebi que estava sofrendo de um novo tipo de fadiga: esgotamento provocado por conteúdo de baixa qualidade. Quase todas as publicações que eu lia nas redes sociais estavam repletas de marcadores, emojis e travessões. Era evidente que pareciam obra de um chatbot.
Neste mês, minhas suspeitas foram confirmadas por uma ferramenta da web que vem ganhando destaque: o Pangram, que usa inteligência artificial para detectar quando textos foram gerados por chatbots. Basta colar um bloco de texto para que o Pangram o analise; a ferramenta então calcula uma porcentagem que indica quanto do conteúdo foi produzido em série por um robô ou escrito por uma pessoa.
Testei o Pangram, que custa US$ 20 (R$ 104,43) por mês, durante cerca de uma semana e fiz todo tipo de experimento para desafiar o sistema. Forneci ensaios pessoais junto com textos gerados por chatbots instruídos a imitar minha escrita. Também carreguei publicações do LinkedIn e do Reddit que eu suspeitava terem sido geradas por IA. Em dezenas de testes, o detector nunca deixou de distinguir conteúdo de baixa qualidade de textos escritos por humanos.
Embora o Pangram seja um entre muitos detectores de IA lançados no mercado nos últimos anos, o produto se destaca pela precisão. A empresa afirma que sua tecnologia consegue identificar corretamente, em 9.999 de cada 10 mil casos, se um texto foi gerado por IA; um estudo independente da Universidade de Chicago também constatou que a ferramenta foi quase perfeita na análise de textos. Em contrapartida, antigos analisadores de texto por IA cometeram erros gritantes, entre eles classificar incorretamente textos de autores famosos como Charles Dickens.
No ritmo em que esse conteúdo de baixa qualidade se multiplica na web —alguns estudos afirmam que 50% dos artigos online já são gerados artificialmente—, os detectores de IA podem se tornar o próximo aplicativo indispensável, semelhante aos antivírus, de que as pessoas precisarão para se proteger de informações falsas e de baixa qualidade na internet.
No entanto, a tecnologia de análise de conteúdo gerado por IA ainda tem um longo caminho pela frente. Assim como outros detectores de IA, o Pangram não é muito bom em sua outra função: identificar imagens geradas por IA, um meio mais poderoso de disseminar desinformação online. (Falaremos mais sobre isso adiante.)
Veja o que você precisa saber.
COMO FUNCIONA A DETECÇÃO DE IA
Da mesma forma que os chatbots de IA se destacam na análise de padrões em nossas criações para reproduzir textos e imagens, detectores como o Pangram analisam dados coletados de modelos de IA para decifrar as características de textos e imagens gerados artificialmente.
Para identificar textos produzidos por IA, a metodologia não é tão simples quanto procurar travessões e marcadores. Cada chatbot de IA, como Claude, ChatGPT e Gemini, segue uma "árvore de decisão", na qual cada palavra escolhida representa uma decisão que leva a outra, afirmou Max Spero, um dos fundadores do Pangram. A detecção precisa de textos gerados por IA depende da compreensão de como funciona a árvore de decisão de cada modelo, o que envolve a coleta de uma enorme quantidade de dados sobre cada um deles, comentou.
"Estamos fazendo engenharia reversa da impressão digital estilística deles", disse Spero.
Nas imagens geradas por IA, há sinais reveladores, como texturas dentro dos pixels que parecem ásperas quando deveriam ser suaves, cores supersaturadas ou inconsistências na iluminação.
Algumas empresas responsáveis por geradores de imagens por IA, entre elas OpenAI, Anthropic e Google, também inserem impressões digitais invisíveis, conhecidas como marcas-d’água, nos metadados das imagens, para indicar aos detectores que o conteúdo foi gerado por IA.
Em breve, as marcas-d’água também chegarão aos textos produzidos por IA. A Anthropic anunciou nesta semana que planejava inserir uma marca-d’água invisível nos textos produzidos por seu chatbot Claude para ajudar as pessoas a identificar conteúdo gerado por IA.
A medida foi uma resposta às regulamentações da União Europeia que exigem transparência em relação a esse tipo de conteúdo; espera-se que outras empresas de IA façam o mesmo.
Folha Mercado
Receba no seu email o que de mais importante acontece na economia; aberta para não assinantes.
TESTANDO PALAVRAS
Realizei cerca de 50 testes com o detector de textos do Pangram. Tentei colar trechos de textos pessoais com algumas frases geradas por IA inseridas no meio. O Pangram detectou corretamente que a prosa havia sido produzida, em sua maior parte, por uma pessoa e destacou as poucas frases criadas por um chatbot.
Também tentei o contrário: espalhei alguns trechos de minha autoria em meio a parágrafos de conteúdo ruim produzido por IA. Mais uma vez, o Pangram identificou corretamente meus textos como escritos por uma pessoa e afirmou que o restante era obra de IA.
Tentei carregar trechos de Dickens disponíveis publicamente. O Pangram concluiu que haviam sido escritos 100% por um ser humano.
Analisei algumas publicações do LinkedIn que pareciam ter sido escritas por uma máquina. O Pangram revelou que um profissional de tecnologia havia escrito a frase introdutória de sua publicação, mas usado IA para gerar o restante. (Enviei uma mensagem ao profissional, que confirmou isso, constrangido.) A experiência me deu uma sensação de poder —por um instante, senti-me como o personagem Nada no filme "Eles Vivem", quando ele colocou os óculos escuros para detectar alienígenas.
IMAGENS IMPERFEITAS
Adotei uma abordagem diferente para testar a detecção de fotos geradas por IA: carreguei no Pangram e no Hive Detect um total de 20 imagens geradas por IA que haviam sido amplamente compartilhadas online e desmentidas por veículos de imprensa. Minha amostra era pequena, mas o Pangram e o Hive Detect falharam tão rapidamente que não vi motivo para continuar.
O Hive Detect identificou incorretamente oito imagens geradas por IA como verdadeiras, entre elas um deepfake recente que fazia parecer que a atriz Zendaya estava grávida, uma imagem do senador Mitch McConnell em uma cama de hospital e uma foto de uma placa de rua em San Francisco que sugeria que era permitido furtar de lojas mercadorias de valor inferior a US$ 950.
O Pangram identificou incorretamente duas imagens geradas por IA, entre elas a de McConnell e a placa falsa em San Francisco. Mas a ferramenta também se recusou a analisar quatro imagens que pareciam violentas ou tinham qualidade baixa demais para arriscar uma conclusão.
Os dois detectores sinalizaram corretamente algumas falsificações famosas, entre elas uma foto que retratava o casamento de Zendaya com Tom Holland, seu colega de elenco em "Homem-Aranha"; uma foto do presidente dos EUA, Donald Trump, segurando uma menina durante sua visita à China; e uma imagem dos Clinton em uma festa com Jeffrey Epstein.
A Hive afirmou que, em alguns dos meus testes, como o da foto de McConnell, eu talvez tivesse analisado uma cópia da imagem compartilhada nas redes sociais sem os detalhes do original, o que poderia levar a um resultado incorreto.
Minha preocupação com essa justificativa é que, quando a maioria das pessoas se depara com conteúdo ruim de IA online, a imagem é uma captura de tela do original ou já foi automaticamente reduzida pela plataforma de rede social. Se isso é tudo o que basta para frustrar os detectores de IA, a tecnologia não é muito útil.
Spero, do Pangram, disse ter ficado surpreso com o fato de sua ferramenta não ter sinalizado a imagem de McConnell, mas acrescentou que a detecção de imagens geradas por IA era um recurso novo e ainda inacabado do produto. Nos testes da empresa com 43 imagens de IA, afirmou ele, o Pangram identificou corretamente 41.
CONCLUSÃO
Apesar dos problemas do Pangram para identificar imagens geradas por IA, sua competência em detectar palavras produzidas por robôs o tornará muito útil para farejar incômodos como golpes por email escritos por IA, avaliações falsas online e publicações desinteressantes no LinkedIn.
As fotos produzidas por IA, que se espalham rapidamente pela internet, continuam sendo um problema muito maior. Hany Farid, professor de Dartmouth e fundador da GetReal Security, empresa que verifica a autenticidade de conteúdo digital, afirmou ter realizado seu próprio experimento rápido com o analisador de imagens do Pangram. Ele carregou cinco fotos de guerra geradas por IA, e o Pangram indicou três.
Farid afirmou que distinguir fotos falsas de verdadeiras era extremamente difícil porque uma imagem poderia ser distorcida e manipulada de muitas maneiras diferentes. Em suas pesquisas, os detectores visuais de IA, em geral, ainda apresentavam falhas demais.
Por enquanto, ele sugeriu que as pessoas recorram a veículos de imprensa confiáveis para obter informações verdadeiras.
"Parem de buscar notícias nas redes sociais", disse Farid. "Partir do princípio de que a maior parte do que vocês estão vendo é falsa provavelmente é uma boa estratégia neste momento."