ChatGPT vs. Google Bard: Qual é o melhor?

Bard é a resposta do Google para a explosão de IA que está rapidamente se tornando a tecnologia mais disruptiva do século. Os chatbots de IA generativa estão mudando a maneira como interagimos com a tecnologia e os gigantes da tecnologia estão correndo para reivindicar uma fatia do bolo.

Vamos avaliar o quão bom é o esforço do Google, ao colocá-lo frente a frente com o ChatGPT.

Comparando a tecnologia subjacente

Antes de compararmos as plataformas, é útil entender a tecnologia subjacente. Ambos contam com Large Language Models (LLMs) para gerar suas respostas “semelhantes às humanas”.

Uma definição simples para esse tópico complexo poderia ser: LLMs são tipos de modelos de aprendizado de máquina projetados para executar tarefas de processamento de linguagem natural (NLP). As tarefas de PNL incluem a geração de respostas de conversação para perguntas.

O Google Bard e o ChatGPT são executados em diferentes LLMs:

• GPT-3.5 (ChatGPT):O GPT-3.5 LLM é o catalisador que deu início aos chatbots de IA generativos. Um problema com esse modelo é a idade do conjunto de dados. Embora tenha recebido algumas atualizações tópicas, o conjunto de dados do modelo é limitado a 2021.
• LaMDA (Google Bard):Bard usa o LLM proprietário do Google chamado LaMDA. A versão mais recente do conjunto de dados contém mais de 1,56 trilhão de palavras, o que é quase quarenta vezes mais do que o usado anteriormente para o LaMDA. Além de estar mais atualizado, o Bard também acessa informações em tempo real por meio da Pesquisa Google.

Vamos ver os dois modelos em ação e analisar seu desempenho.

Testando ChatGPT e Google Bard

Para testar as ferramentas, elaboramos um exercício que comparará seu desempenho em uma variedade de métricas. Mas antes de nos aprofundarmos nos detalhes, primeiro coloque as ferramentas em execução em sua máquina.

• ChatGPT:Você pode acessar ChatGPT através do site oficial da OpenAI. Você só precisa criar uma conta no OpenAI para começar.
• Google Bardo: Você pode ter que entrar na lista de espera para acessar o Google Bard, que requer uma conta do Google. Você pode se inscrever ou entrar na lista de espera no Google Bardo website oficial.

A inscrição em ambas as ferramentas é simples, embora a lista de espera do Google Bard seja inconveniente se você estiver procurando por acesso instantâneo.

Comparando a precisão do Google Bard e do ChatGPT

Ambos os chatbots são rápidos em apontar que a precisão de suas respostas não deve ser considerada pelo valor de face. No entanto, o Google Bard deve ter uma vantagem distinta em virtude de ter acesso a informações em tempo real. O primeiro teste visa verificar essa premissa.

Mas, para ser justo, também os testaremos quanto à precisão em um assunto que não requer informações tópicas.

Começamos fazendo uma pergunta simples para ambas as ferramentas: “Quantos torcedores compareceram à Copa do Mundo de 2022 no Catar?”

A resposta do Google Bard nos deu números precisos e acrescentou algumas outras estatísticas de atendimento.

O ChatGPT não pôde fornecer informações atualizadas.

Em seguida, tentamos testar dados não tópicos. Pedimos a ambos os chatbots que respondessem a esta pergunta: “Quanto tempo levaria para dirigir até o sol?”

Google Bard primeiro; respondeu com alguns detalhes abrangentes.

Ficamos bastante desapontados com a resposta do ChatGPT. Isso deveria ter sido reconhecido como uma questão hipotética com o resultado exigindo apenas alguma aritmética básica.

Para dar uma segunda chance ao ChatGPT, reformulamos a pergunta e perguntamos: "Quanto tempo levaria para viajar até o sol a 65 mph?"

Desta vez, produziu alguns números significativos, mas arredondou o número para 1,5 milhão de horas, causando uma disparidade de oito anos entre as respostas. No entanto, a razão para essa disparidade pode ser a distância variável entre a Terra e o Sol.

Este teste demonstra que você ainda precisa ser criativo ao formular suas perguntas para obtenha os melhores resultados do ChatGPT. Além disso, você precisa verificar novamente a integridade dos dados fornecidos.

Comparando a criatividade do Google Bard e do ChatGPT

Testar essas ferramentas para a qualidade de sua produção criativa é mais complicado. Não existe uma escala móvel para a criatividade que permita fazer comparações diretas. Assim, definiremos uma tarefa criativa idêntica e faremos um julgamento pessoal sobre como as respostas se comparam.

Pedimos a ambas as ferramentas para compor um pequeno poema sobre chatbots no estilo de William McGonagall (um poeta escocês conhecido por sua péssima poesia).

O Google Bard nos deu isso:

Quando comparado com a resposta do ChatGPT abaixo, isso é simples e pouco inspirador.

Embora este não seja um teste extenso, este exemplo mostra o que descobrimos ser o caso geral - o ChatGPT é melhor em tarefas criativas do que o Google Bard.

Qual é o certo para mim: ChatGPT ou Google Bard?

Os diferentes LLMs que alimentam as ferramentas são fundamentais para o desempenho das ferramentas. Eles são a principal razão para as diferenças nas respostas do teste, cada um com seus próprios pontos fortes e fracos. A escolha entre eles provavelmente será determinada mais pela intenção do usuário do que pela preferência do usuário.

Alguns dos fatores decisivos incluem:

• Precisão:Se você está procurando informações factuais e em tempo real, o vencedor absoluto deve ser o Google Bard. Também é mais fácil verificar informações com o Google Bard, graças aos links diretos para a Pesquisa do Google. No entanto, ambas as ferramentas careciam de links diretos para as informações citadas.
• criatividade:Descobrimos que o ChatGPT foi capaz de produzir respostas mais criativas. Se você está procurando sugestões e assistência para redação, o ChatGPT tem o melhor desempenho.
• Segurança e proteção: tem havido preocupações sobre a segurança online do ChatGPT, que usa uma abordagem reativa à segurança. Em outras palavras, as preocupações de segurança são tratadas à medida que surgem. O Google Bard tem uma abordagem mais proativa, mas ainda usa feedback para melhorar os processos. Se você tiver preocupações com a segurança, existem muitas maneiras de seus filhos usarem o ChatGPT com segurança.
• Fácil de usar: ambas as ferramentas são fáceis de usar e a forma como você interage com elas é semelhante. No entanto, não há sugestões de acompanhamento para seus prompts, que é um recurso que esperávamos do Google Bard. A relevância disso ganha mais peso quando você compare o Bard com o Bing Chat da Microsoft.

Ambos são gratuitos, então o melhor conselho é experimentá-los e ver o que funciona para você. Nossa experiência nos diz que ambas as plataformas têm seu lugar e qual delas você escolhe em grande parte se resume ao escopo de sua intenção de pesquisa.

Existem muitas arestas em ambas as plataformas, isso é de se esperar. Esta é uma nova tecnologia e ambos são exemplos de programas de teste ao vivo que cometem erros em público. O outro lado da moeda é que esse uso generalizado e o feedback que ele gera irão acelerar o desenvolvimento de ambos os modelos.

Estamos no início de uma revolução tecnológica tão disruptiva que muitos de seus impactos ainda não foram determinados, apesar de muita especulação. Mas não há dúvida de que ferramentas como Bard e ChatGPT vão transformar muito a forma como trabalhamos, descansamos e nos divertimos.