ChatGPT vs Claude AI: Claude AI é o melhor chatbot?

Desde o seu lançamento em novembro de 2022, o ChatGPT continua sendo a força dominante no espaço do chatbot de IA. Apesar dos esforços de longo alcance de várias empresas de IA, ninguém foi realmente capaz de construir um chatbot que realmente desafiasse o ChatGPT na qualidade geral da resposta. Bardo do Google? IA do Bing da Microsoft? Não, na verdade não.

No entanto, Claude AI, um chatbot construído pela startup de IA Anthropic, mostra qualidades de um chatbot que pode destronar o ChatGPT. Um número considerável de usuários já afirma que Claude é a melhor opção. Mas é este o caso? Vamos dar uma olhada nos dois chatbots.

ChatGPT vs. Claude AI: Senso Comum e Raciocínio Lógico

Há um contraste intrigante ao trabalhar com chatbots de IA. Por um lado, eles podem executar tarefas complexas que os humanos podem trabalhar durante dias para resolver. Por outro lado, às vezes enfrentam problemas elementares que exigem apenas um pouco de bom senso ou raciocínio lógico. Portanto, testamos o ChatGPT e o Claude AI para ver qual chatbot de IA era melhor em tarefas de bom senso e raciocínio lógico.

ChatGPT dividiu o problema em pedaços e resolveu na primeira tentativa. Claude AI também tentou e resolveu o problema, mas com uma abordagem diferente.

Para a primeira tarefa, ambos os chatbots conseguiram resolver o problema. Então, passamos para um tipo diferente de problema. Encarregamos ambos os chatbots de responder a uma pergunta capciosa.

O ChatGPT conseguiu detectar imediatamente o truque: você não pode enterrar sobreviventes porque eles não estão mortos. Claude AI, por outro lado, parecia entender que era uma pergunta capciosa, mas não conseguiu identificar a questão mais sensata de que não se enterram sobreviventes.

Em vez disso, analisou excessivamente a questão e chegou à conclusão de que “não haveria sobreviventes para enterrar” porque a queda de Marte para a Terra seria fatal. Não é a resposta que esperávamos, mas se olharmos as coisas de um ângulo diferente, há alguma verdade nisso.

Nesta tarefa, entregamos ao ChatGPT, mas não podemos descartar totalmente a abordagem de Claude AI. Para nossa tarefa final nesta métrica, perguntamos aos dois chatbots quantas maçãs sobrariam em uma macieira depois cinco e 10 dias, respectivamente, se começássemos com 10 maçãs e cinco delas fossem cortadas ainda na árvore. ChatGPT disse que ainda restariam 10 maçãs.

Claude AI, por outro lado, deu uma resposta mais sensata ao reconhecer que as cinco maçãs fatiadas provavelmente apodrecerão.

Claude AI claramente entendeu isso. Tentamos mais alguns problemas complicados e ambos os chatbots tiveram muitos sucessos e fracassos ao lidar com eles. Considerando o resultado que observamos, pode ser justo dizer que, embora o ChatGPT tenha uma vantagem, ambos os chatbots não estão muito distantes em termos de bom senso e habilidades de raciocínio lógico.

ChatGPT vs. Claude AI: habilidades matemáticas

Mesmo que você nunca planeje usar ChatGPT ou Claude AI para resolver seu dever de casa de álgebra, suas habilidades matemáticas têm implicações de longo alcance. Para chatbots de IA, a matemática é a chave para compreender a lógica do mundo real, identificar pensamentos falhos e admitir erros.

Essencialmente, a proficiência matemática é uma métrica central da inteligência artificial. Então, entre ChatGPT e Claude AI, qual chatbot é mais proficiente em matemática? Encarregamos ambos os chatbots de resolver um problema complicado de produtividade matemática. Começamos com Claude AI e o chatbot resolveu o problema.

ChatGPT também resolveu o problema.

Continuando, pedimos aos dois chatbots que resolvessem 8/a-1 = 20/3a-1, um problema matemático bastante simples, com uma taxa de falha surpreendentemente alta entre os chatbots de IA. ChatGPT conseguiu resolvê-lo, fornecendo uma resposta correta de -3 na primeira tentativa.

Claude AI falhou na primeira tentativa, mas quando o solicitamos a resolver o problema passo a passo (o que o força a pensar em cada etapa de sua lógica), ele foi capaz de decifrá-lo.

Tentamos mais alguns problemas de matemática. Embora ambos os chatbots tenham acertado na primeira tentativa em alguns casos, em vários casos, Claude AI precisou de uma segunda ou terceira tentativa para fornecer a resposta correta. Em termos de habilidades matemáticas, daremos a coroa ao ChatGPT.

ChatGPT vs. Claude AI: Criatividade

Uma das maiores novidades de Claude AI são suas habilidades criativas. Mas será que pode corresponder à criatividade do ChatGPT? Ou poderia superar o ChatGPT? Para testar os dois chatbots, nós os encarregamos de escrever a letra de uma música rap que rima.

Escolhemos um teste de rima porque é algo com que muitos modelos de linguagem lutam. A maioria dos modelos normalmente não acerta a rima ou acerta a rima enquanto a letra em si não faz sentido. Para tornar as coisas mais interessantes, o rap será sobre o cultivo de pepinos.

Então, pedimos ao ChatGPT e a Claude AI que "escrevessem um rap rimado sobre o cultivo de pepinos como agricultor e se tornar um milionário com isso." O ChatGPT foi o primeiro e, como esperado, produziu alguns resultados emocionantes letra da música.

Em seguida, enviamos a mesma mensagem para Claude AI, e ele também deu uma chance justa.

Ambas as letras são boas, mas o ChatGPT parecia ter uma vantagem aqui. A rima era melhor e obtivemos o resultado que precisávamos na primeira tentativa. Tivemos que tentar três vezes antes que Claude AI pudesse produzir letras que rimassem. Daremos este ao ChatGPT.

Depois de experimentar mais algumas tarefas criativas, Claude AI pareceu se destacar em tarefas relacionadas à escrita e foi capaz de escrever conteúdo com um som mais natural, como um escritor humano faria. Embora ChatGPT foi melhor na superação de tarefas criativas mais complexas, às vezes não conseguia se livrar daquela sensação de chatbot de IA no texto que gerava. Nosso veredicto? Tanto ChatGPT quanto Claude AI são criativos por si só.

ChatGPT vs. Claude AI: habilidades de codificação

Assim como as habilidades matemáticas, as habilidades de codificação são outra métrica muito importante para julgar as habilidades de um chatbot de IA. Embora a maioria dos usuários provavelmente nunca use um chatbot para codificação, há implicações subjacentes significativas para as habilidades de um chatbot de escrever e compreender código com proficiência.

Embora os chatbots sejam atualmente sofisticados, eles estão longe do que poderiam realmente se tornar se e quando fossem capazes de escrever código com proficiência. Para que os chatbots de IA realmente evoluam para assistentes de IA poderosos que podem fazer mais do que gerar texto, eles precisam ser capazes de escrever códigos que resolvam problemas sob demanda. Já discutimos anteriormente como as habilidades de codificação são importantes para os chatbots de IA em nosso Explicador do intérprete de código ChatGPT.

Dito isto, colocamos os dois chatbots em duas tarefas de codificação. Pedimos ao ChatGPT e Claude AI que escrevessem código funcional para um aplicativo de lista de tarefas. Começando com o ChatGPT, o chatbot de IA foi capaz de fornecer um aplicativo funcional de lista de tarefas na primeira tentativa. Copiamos, colamos e executamos em um navegador, e funcionou perfeitamente sem erros. Aqui está a saída em um navegador.

Passando para Claude AI, o chatbot escreveu um código claramente inteligível. A estrutura e a lógica pareciam boas. Infelizmente, apesar das repetidas tentativas, Claude AI continuou perdendo alguma lógica crítica para fazer o código realmente rodar em um navegador. É uma falha neste.

Depois que Claude AI falhou no último teste, tentamos um tipo diferente de tarefa de codificação, que consistia mais em analisar código e menos em escrever novo código. Carregamos cinco arquivos PHP que representam o back-end completo de um site e perguntamos a Claude AI e ChatGPT onde precisaríamos editar todos os arquivos enviados para garantir que receberíamos um e-mail assim que um novo usuário se registrasse no site.

Surpreendentemente, o ChatGPT, apesar de aparentemente ter habilidades de codificação superiores, falhou apesar das repetidas tentativas. Claude AI, por outro lado, foi capaz de analisar o código com proficiência enquanto identificava os locais certos que precisavam ser editados para alcançar os resultados desejados.

Claro, este não foi um caso isolado, nós o repetimos com vários outros arquivos de código, mas o ChatGPT tropeçou e travou na maioria dos casos enquanto Claude AI continuava entregando resultados impressionantes. Em termos de habilidades de codificação, o vencedor não é totalmente simples.

ChatGPT é claramente significativamente melhor na escrita de novos códigos e pode gerenciar códigos complexos com proficiência impressionante. No entanto, Claude AI é significativamente melhor na análise de grandes bases de código. Então, se você está procurando escrever código para alguma ideia nova que você tem, ChatGPT é a ferramenta a quem você pode recorrer. Se você deseja analisar ou entender uma base de código com milhares de linhas em vários arquivos, definitivamente recomendamos Claude AI.

Claude AI é um concorrente potente no mercado

Claude AI representa uma competição poderosa para o ChatGPT – que pode competir e potencialmente superar o ChatGPT algum dia. Dado que Claude é um modelo de IA relativamente novo, é invejável que ele possa enfrentar o ChatGPT da maneira que faz atualmente. O surgimento de Claude AI e a qualidade que oferece provam que a concorrência está esquentando.