4 exemplos que mostram que você não pode confiar no ZeroGPT e em outras ferramentas de detecção de IA

Os chatbots de IA são, sem dúvida, ferramentas poderosas e úteis. No entanto, a capacidade de distinguir entre conteúdo gerado por humanos e gerado por IA está se tornando uma questão importante.

Para resolver esse problema, surgiram ferramentas como o ZeroGPT. Eles são projetados para diferenciar entre IA e conteúdo gerado por humanos. Mas eles funcionam?

Vamos dar uma olhada mais de perto nas ferramentas de detecção de IA e ver se elas podem dizer a diferença entre texto gerado por IA e humano.

Dizem que a prova do pudim está em comê-lo. Então, vamos fazer alguns testes e ver o quão eficazes são essas ferramentas. É impossível testar todas as ferramentas, então estamos testando uma das ferramentas mais populares – ZeroGPT.

Como material, pensamos que seria muito divertido dar ao ChatGPT uma chance de escrever uma introdução para este artigo e depois compará-la com a introdução “gerada por humanos”:

Teste um: comparando uma introdução de artigo gerada por humano e gerada por IA

A primeira coisa que fizemos foi fazer com que o ChatGPT gerasse uma introdução. Entramos no título e não demos mais informações. Para o registro, usamos GPT-3.5 para o teste.

Em seguida, copiamos o texto e colamos no ZeroGPT. Como você pode ver, os resultados foram menos que estelares.

Um começo discreto, mas ilustra o quão eficazes são os chatbots de IA. Para concluir o teste, deixamos o ZeroGPT analisar uma introdução de rascunho criada por humanos.

Pelo menos esta parte está correta. No geral, ZeroGPT falhou nesta rodada. Ele determinou que pelo menos parte da introdução gerada por IA era suspeita, mas falhou em destacar questões específicas.

Teste Dois: O Problema do Falso Positivo

À medida que cresce o uso do ChatGPT e de outras ferramentas de IA, aumenta a probabilidade de saber ou ouvir sobre alguém confrontado com alegações de que seu trabalho foi gerado por IA. Essas acusações são um dos problemas mais sérios com o ChatGPT e as ferramentas de detecção de IA como o ZeroGPT, pois esse tipo de erro pode prejudicar a reputação e afetar os meios de subsistência.

Falsos positivos ocorrem quando o conteúdo gerado por humanos é sinalizado incorretamente como sendo trabalho de IA. Como mostra o exemplo abaixo, o problema é facilmente replicado. Sou um pescador entusiasta, então decidi escrever uma introdução para um artigo imaginário sobre a pesca na Flórida. Em seguida, deixei o ZeroGPT analisar o texto - ele sinalizou que o texto foi 100% gerado por IA.

Para ser justo, eu estava almejando esse resultado. Mantive o texto genérico e usei linguagem “vendedora”. Mas o fato de que um humano escreveu isso permanece válido. Isso não é um inconveniente ou algo que pode ser ignorado. Erros como esse podem ter sérias ramificações para escritores, estudantes e outros profissionais que criam trabalhos escritos.

Teste Três: Testando ZeroGPT na Ficção

Para o terceiro teste, vamos usar o ChatGPT e pedir que ele escreva alguma ficção. Para isso, criamos um cenário e solicitamos ao ChatGPT que escrevesse uma breve introdução a uma história fictícia.

Mantivemos tudo simples e apenas pedimos para escrever uma introdução para uma história sobre dois estranhos que se encontram em uma plataforma ferroviária:

E aqui estava a resposta do ZeroGPT:

Como fica aparente no resultado, ZeroGPT é incapaz de diferenciar fato de ficção ao lidar com ficção!

Teste Quatro: Artigos de Notícias

Há algo perturbador na capacidade da IA ​​de nos informar sobre o que está acontecendo no mundo ao nosso redor. Nem sempre são necessariamente “notícias falsas”, pois podem ser relevantes e informativas, mas existem preocupações éticas definidas sobre IA.

Para ser justo com o ZeroGPT, ele teve um bom desempenho neste teste. Pedimos ao ChatGPT e ao Bing Chat para escrever artigos de notícias sobre vários assuntos, e o ZeroGPT acertou em cheio todas as vezes. O exemplo abaixo mostra a declaração correta de um artigo gerado pelo Bing Chat como sendo 100% gerado por IA.

A ferramenta sinalizou de forma tão consistente cada artigo de notícias como gerado por IA que decidimos testá-lo em um artigo de notícias fictício que escrevemos para esse fim.

Ele identificou pelo menos alguns dos artigos como gerados por humanos, mas sinalizou mais de 70% como gerados por IA. Mais uma vez, precisamos ser justos aqui; este foi um re-hash bastante básico do artigo do Bing e dificilmente tinha a qualidade do Prêmio Pulitzer.

Mas o ponto continua válido. Isso foi escrito por um ser humano usando pesquisas encontradas na internet.

Não há uma única razão por trás das falhas em ferramentas como ZeroGPT. No entanto, um problema fundamental é a eficácia dos chatbots de IA generativos. Eles representam uma tecnologia incrivelmente poderosa e em rápida evolução que efetivamente os torna um alvo móvel para ferramentas de detecção de IA.

Os chatbots de IA estão melhorando continuamente a qualidade e a “humanidade” de sua produção, e isso torna a tarefa extremamente desafiadora. No entanto, independentemente das dificuldades, o lado AI da equação deve fazer um julgamento sem supervisão humana.

Ferramentas como ZeroGPT usam IA para fazer suas determinações. Mas a IA não apenas acorda de manhã e sabe o que fazer. Tem que ser treinado, e é aqui que o lado técnico da equação se torna relevante.

Vieses algorítmicos e de dados de treinamento são inevitáveis, considerando o tamanho do grandes modelos de linguagem nos quais essas ferramentas são treinadas. Este não é um problema restrito às ferramentas de detecção de IA, os mesmos vieses podem fazer com que os chatbots de IA gerem respostas incorretas e alucinações de IA.

No entanto, esses erros se manifestam como “sinalizadores de IA” incorretos nas ferramentas de detecção. Isso dificilmente é ideal, mas é um reflexo do estado atual da tecnologia de IA. Os vieses inerentes aos dados de treinamento podem levar a falsos positivos ou falsos negativos.

Outro fator que deve ser considerado é o que constitui o conteúdo gerado por IA. Se o conteúdo gerado por IA for simplesmente reformulado, é um conteúdo humano ou gerado por IA? Isso representa outro grande desafio - a indefinição das linhas entre os dois torna quase impossível definir o conteúdo criado por máquina.

Olhando para o futuro da detecção de IA

Isso pode soar como se estivéssemos batendo em ferramentas como ZeroGPT. Este não é o caso; eles enfrentam enormes desafios e a tecnologia mal acabou de fraldas. A rápida aceitação de ferramentas como o ChatGPT criou uma demanda por detecção de IA, e a tecnologia deve ter a chance de amadurecer e aprender.

Não se pode esperar que essas ferramentas enfrentem sozinhas os desafios impostos pelos chatbots. Mas eles podem desempenhar um papel valioso em um esforço conjunto e multifacetado para enfrentar os desafios da IA. Eles representam uma peça de um quebra-cabeça maior que inclui práticas éticas de IA, supervisão humana e pesquisa e desenvolvimento contínuos.

Os desafios que essas ferramentas enfrentam são imagens espelhadas dos desafios que a sociedade enfrenta ao lidar com os dilemas associados a uma nova era tecnológica.

IA ou não IA? Essa é a questão

Ferramentas como ZeroGPT são falhas, não há dúvida disso. Mas eles não são inúteis e representam um passo importante enquanto tentamos gerenciar e regular a IA. Sua precisão melhorará, mas também a sofisticação da IA ​​que eles são treinados para detectar. Em algum lugar no meio dessa corrida armamentista, precisamos encontrar um equilíbrio com o qual a sociedade se sinta confortável.

A questão - IA ou não IA? É mais do que apenas uma discussão sobre se algo é gerado por IA ou não. É indicativo das questões maiores que a sociedade enfrenta à medida que nos adaptamos ao admirável mundo novo da IA.

Só para constar, e de acordo com o ZeroGPT, 27,21% dessa conclusão foi gerada por IA. Hum.