O que é GPTZero? Como usá-lo para detectar texto gerado por IA

Desde o seu lançamento, o ChatGPT da OpenAI tornou-se uma preocupação para as instituições educacionais em todo o mundo, pois os alunos começaram a usá-lo para escrever redações e colar nas avaliações. Dada a naturalidade do texto gerado pelo chatbot, os instrutores estão tendo mais dificuldade em determinar se o trabalho dos alunos é original.

Para auxiliar os professores na avaliação das tarefas dos alunos, um graduado em ciência da computação desenvolveu uma ferramenta chamada GPTZero, que determina se um texto foi gerado artificialmente. Este artigo explicará como a ferramenta funciona, como usá-la e se ela pode detectar conteúdo gerado por IA.

O que é GPTZero e como funciona?

GPTZero é uma ferramenta de análise de texto de IA desenvolvida por Edward Tian, ​​um graduado em ciência da computação, para ajudar os instrutores a distinguir o texto plagiado do trabalho original. A ferramenta verifica a perplexidade e explosão em um texto para determinar se ele é gerado artificialmente ou criado por um humano.

Sem entrar em detalhes, vamos ver o que esses termos significam:

• Perplexidade é uma medida da aleatoriedade do texto no Processamento de Linguagem Natural (NLP). O texto escrito por um humano tende a ser menos estruturado e mais imprevisível, portanto seu valor de perplexidade deve ser maior, enquanto um texto gerado por IA deve ter uma pontuação de perplexidade baixa.
• Explosão leva em conta outras variáveis ​​não contabilizadas na perplexidade para melhorar a análise do texto. O termo refere-se ao aparecimento de itens não comuns em grupos aleatórios. O texto gerado pela IA tende a ter uma estrutura mais consistente do que o texto escrito por humanos. Burstiness nos ajuda a identificar isso.

O GPTZero Classic está acessível ao público desde o início de 2023 e é gratuito para uso a partir de março de 2023. No entanto, a versão gratuita tem um limite de 5.000 caracteres por documento e você só pode analisar em lote três documentos por vez.

O GPTZero oferece duas versões premium para atender às necessidades de educadores e usuários que desejam analisar milhões de palavras mensalmente: GPTZero Educator e GPTZero Pro. O limite de caracteres por documento é maior nas versões premium do que na gratuita, e permitem analisar arquivos ilimitados em lote.

Siga estas etapas para assinar essas versões premium:

1. Vá para Painel GPTZero.
2. Faça login com sua conta existente ou crie uma nova conta.
3. Após o login, você pode atualizar para uma versão premium de sua escolha.

Como usar o GPTZero para detectar texto gerado por IA

Ao contrário do ChatGPT, nenhum registro é necessário no GPTZero. Você pode simplesmente acessar a ferramenta através do site. Vamos ver como você pode acessá-lo e usá-lo:

1. Vá para GPTZero.
2. Copie e cole o texto que deseja analisar na caixa ou carregue um arquivo.
3. Marque a caixa ao lado Eu aceito os Termos de Serviço.
4. Clique no Obter resultados caixa.

Após a conclusão da verificação, o GPTZero informará se o texto foi escrito por um humano ou gerado por inteligência artificial.

O GPTZero pode reconhecer o texto gerado por IA corretamente?

Para testar a precisão com que o GPTZero detecta o texto gerado pela IA, analisaremos três textos na ferramenta: texto gerado por IA, texto escrito por humanos e texto gerado por IA que foi parafraseado por outro ferramenta. Vamos ver como o GPTZero responde a cada entrada.

Incluiremos as instruções sobre como conduzimos esses testes para que você mesmo possa executá-los.

1. A análise do texto gerado por IA no GPTZero

Para analisar o texto gerado por IA, vamos primeiro gerar o texto usando o ChatGPT, um chatbot de IA desenvolvido com a tecnologia GPT. Para fazer isso, siga estas etapas:

1. Vá para OpenAI.
2. Clique no Experimente o ChatGPT botão.
3. Faça login ou registre-se para uma conta.
4. Digite qualquer prompt para gerar um texto.
5. Copie o texto gerado pela ferramenta assim que terminar.
6. Analise o texto no GPTZero, conforme explicamos anteriormente.

Você também pode usar outros Ferramentas de escrita de IA para gerar o texto que deseja analisar.

O GPTZero retornou a seguinte saída quando analisamos o texto gerado pela IA na ferramenta:

Dado que o texto foi gerado por IA, o GPTZero previu corretamente que provavelmente foi gerado por IA. Para tornar o teste mais desafiador, parafraseamos o texto gerado pelo ChatGPT.

2. A análise de um texto parafraseado gerado por IA no GPTZero

Você pode escolher entre centenas de ferramentas de paráfrase parafraseando o texto. Para este caso, usamos o Scribbr. Se você quiser usar a mesma ferramenta, siga as etapas:

1. Vá para Scribbr.
2. Copie o texto gerado pela IA que analisamos no GPTZero anteriormente e cole-o na ferramenta.
3. Clique no Paráfrase botão.
4. Deixe Scribbr parafrasear o texto para você.
5. Execute o teste GPTZero novamente após a paráfrase.

Aqui está a saída do GPTZero quando analisamos o texto parafraseado gerado pela IA:

Uma leve paráfrase tornou difícil para o GPTZero determinar se o texto é todo gerado por IA.

3. A Análise do Conteúdo Humano Escrito no GPTZero

Em alguns casos, ferramentas como GPTZero retornam um resultado falso positivo, o que significa que consideram algo incorreto quando não está. Para determinar se o GPTZero também gera falsos positivos, realizamos três testes na ferramenta, analisando três diferentes textos escritos por humanos.

Desses três testes, a ferramenta retornou um falso positivo ao afirmar que um texto original foi gerado por IA; uma vez, falhou em chegar a uma conclusão e, uma vez, identificou corretamente o texto como escrito por humanos.

Se você deseja testar o conteúdo escrito por humanos, pode copiá-lo de uma fonte autêntica ou escrever alguns parágrafos você mesmo.

Você deve confiar nos resultados do GPTZero?

Com base em nossos testes, confiar apenas nos resultados dessa ferramenta pode ser arriscado. Na verdade, uma isenção de responsabilidade aparece toda vez que você gera um resultado usando a ferramenta, que adverte os educadores a não confiar nos resultados dessa ferramenta.

Portanto, a menos que o desenvolvedor da ferramenta garanta que seus resultados são infalíveis, os educadores não devem confiar totalmente nela. Por que? Porque seria injusto para um aluno receber uma nota ruim simplesmente porque o GPTZero retornou um falso positivo.

Os testes acima foram realizados em fevereiro de 2023. GPTZero é uma ferramenta relativamente nova no momento, então sua precisão pode mudar com o tempo.

Nem sempre confie nos resultados da detecção de IA

Como um potencial antídoto para a tecnologia GPT da OpenAI, o GPTZero tem um grande potencial; no entanto, ainda está em sua infância. Neste ponto, não é totalmente confiável. Mas a versão principal do GPTZero será capaz de superar todas as limitações e capturar o conteúdo da IA ​​com precisão? Para descobrir, teremos que esperar.

Além de dar aos alunos outro motivo para colar nas avaliações, o ChatGPT também representa uma séria ameaça à segurança cibernética.