Teste avalia aplicativo de IA que identifica quem usou IA; veja o resultado
A proliferação de conteúdo de baixa qualidade na internet, muitas vezes indistinguível do que seria escrito por um ser humano, tem gerado uma nova forma de fadiga digital. Textos repletos de marcadores, emojis e travessões podem ser um sinal claro de autoria robótica. Para combater essa maré de desinformação e textos genéricos, ferramentas baseadas em inteligência artificial (IA) estão surgindo, e o Pangram se destaca como um dos mais promissores. Este artigo explora como esse aplicativo funciona, os resultados de testes rigorosos e seu potencial para se tornar um aliado essencial na navegação online.
Recentemente, a experiência de se deparar com publicações de baixa qualidade nas redes sociais se tornou um problema recorrente. A suspeita de que muitos desses textos eram, na verdade, gerados por chatbots levou à busca por soluções. O Pangram, uma ferramenta web que utiliza IA para detectar a autoria de textos, promete ser essa solução. Ao simplesmente colar um bloco de texto, o Pangram analisa e calcula uma porcentagem indicando o grau de conteúdo gerado por IA versus autoria humana.
O Pangram: precisão e testes rigorosos
Testado por cerca de uma semana, o Pangram, com um custo de US$ 20 (aproximadamente R$ 104,43) mensais, foi submetido a diversos experimentos. Textos pessoais, conteúdo gerado por IA instruído a imitar a escrita do autor, e publicações de redes sociais como LinkedIn e Reddit foram submetidos à análise. Em dezenas de testes, a ferramenta demonstrou uma notável capacidade de distinguir entre conteúdo de baixa qualidade gerado por robôs e textos escritos por humanos.
O que diferencia o Pangram de outros detectores de IA é sua precisão. A empresa afirma que sua tecnologia tem uma taxa de acerto de 9.999 em 10 mil casos na identificação de textos gerados por IA. Um estudo independente da Universidade de Chicago corroborou essa afirmação, constatando que a ferramenta foi quase perfeita em suas análises. Isso contrasta com detectores anteriores que cometeram erros significativos, como classificar obras de autores renomados como Charles Dickens como geradas por IA.
A escalada do conteúdo gerado por IA e a necessidade de detecção
Com estudos indicando que até 50% dos artigos online já são gerados artificialmente, a necessidade de ferramentas de detecção de IA se torna cada vez mais premente. Essas ferramentas podem se tornar tão indispensáveis quanto os softwares antivírus, protegendo os usuários de informações falsas e de baixa qualidade.
No entanto, a tecnologia de análise de conteúdo gerado por IA ainda enfrenta desafios. Assim como outros detectores, o Pangram ainda não é tão eficiente na identificação de imagens geradas por IA, um meio ainda mais poderoso para a disseminação de desinformação.
Como funciona a detecção de IA?
A detecção de IA, tanto em textos quanto em imagens, baseia-se na análise de padrões. Enquanto os chatbots de IA aprendem a reproduzir textos e imagens analisando grandes volumes de dados, os detectores como o Pangram analisam características específicas de conteúdo gerado artificialmente.
Para textos, a metodologia vai além da simples busca por marcadores ou travessões. Cada chatbot de IA, como Claude, ChatGPT e Gemini, opera com uma espécie de “árvore de decisão”, onde cada palavra escolhida é um passo em um processo. A detecção eficaz requer a compreensão da “árvore de decisão” de cada modelo, o que implica na coleta e análise de uma vasta quantidade de dados sobre seus padrões de escrita. Como explica Max Spero, um dos fundadores do Pangram, o processo envolve uma espécie de “engenharia reversa da impressão digital estilística” de cada IA.
Marcas d’água: uma nova fronteira na detecção
Em imagens geradas por IA, sinais reveladores incluem texturas anômalas em pixels, cores supersaturadas ou inconsistências na iluminação. Empresas como OpenAI, Anthropic e Google também estão implementando “marcas d’água” invisíveis nos metadados de imagens geradas por IA, uma forma de sinalizar aos detectores sua origem artificial.
Em breve, essa tecnologia de marcas d’água também deverá ser aplicada a textos. A Anthropic já anunciou planos para inserir marcas d’água invisíveis em textos gerados pelo seu chatbot Claude, em resposta a regulamentações da União Europeia que exigem maior transparência. Espera-se que outras empresas de IA sigam o mesmo caminho.
Testes práticos: a performance do Pangram em cenários reais
Os testes realizados com o Pangram foram abrangentes. Ao misturar trechos de textos pessoais com frases geradas por IA, o aplicativo identificou corretamente a maior parte do conteúdo como humano, destacando as poucas frases de origem artificial. O inverso também foi testado: a inclusão de trechos próprios em meio a textos de IA resultou na correta identificação das partes escritas pelo usuário.
Textos clássicos de Charles Dickens foram corretamente classificados como 100% humanos. Em publicações do LinkedIn que aparentavam ser geradas por IA, o Pangram foi capaz de identificar que a introdução foi escrita por um profissional, mas o restante do conteúdo utilizou IA. Essa capacidade de discernimento confere ao usuário uma sensação de controle e clareza, similar à de desvendar uma verdade oculta.
A detecção de imagens: um desafio persistente
A detecção de imagens geradas por IA apresentou um cenário mais complexo. Em testes com 20 imagens geradas por IA e amplamente disseminadas online, tanto o Pangram quanto o Hive Detect demonstraram falhas significativas. O Hive Detect classificou incorretamente oito imagens como verdadeiras, incluindo um deepfake de uma atriz e uma imagem falsa de um senador.
O Pangram, por sua vez, identificou incorretamente duas imagens, mas também se recusou a analisar outras quatro devido à violência ou baixa qualidade. Embora ambos os detectores tenham identificado corretamente algumas falsificações famosas, a facilidade com que falharam levanta preocupações sobre a eficácia da tecnologia atual.
Limitações e o futuro da detecção de imagens de IA
Uma das justificativas para as falhas na detecção de imagens é a possível análise de cópias de baixa resolução ou compartilhadas em redes sociais, que podem perder detalhes cruciais do original. No entanto, a realidade é que a maioria dos usuários se depara com conteúdo já processado e comprimido por plataformas de mídia social. Se essa manipulação já é suficiente para frustrar os detectores de IA, sua utilidade prática fica comprometida.
Max Spero, do Pangram, admitiu que a detecção de imagens geradas por IA é um recurso novo e em desenvolvimento. Embora a empresa afirme que o Pangram identificou corretamente 41 de 43 imagens de IA em seus testes internos, a performance em cenários reais e com conteúdo manipulado parece ser inferior.
Conclusão: Pangram é promissor, mas a vigilância é crucial
Apesar das dificuldades na detecção de imagens, a competência do Pangram em identificar textos produzidos por robôs o torna uma ferramenta valiosa. Ele pode ser fundamental para combater golpes por e-mail, avaliações falsas online e conteúdo de baixa qualidade em plataformas como o LinkedIn.
No entanto, as imagens geradas por IA representam um desafio maior devido à sua rápida disseminação e à dificuldade inerente em distinguir o real do artificial. Hany Farid, professor de Dartmouth e especialista em autenticidade de conteúdo digital, ressalta que distinguir fotos falsas de verdadeiras é extremamente difícil, e os detectores visuais de IA ainda apresentam muitas falhas.
Até que a tecnologia de detecção de imagens de IA amadureça, a recomendação é buscar informações em veículos de imprensa confiáveis e adotar uma postura de ceticismo em relação ao conteúdo online. Como sugere Farid, “parem de buscar notícias nas redes sociais” e “partir do princípio de que a maior parte do que vocês estão vendo é falsa provavelmente é uma boa estratégia neste momento”. A batalha contra a desinformação gerada por IA é contínua, e ferramentas como o Pangram são um passo importante, mas não a solução definitiva.