Modelos de linguagem grandes (LLMs) vêm em todas as formas e tamanhos e irão ajudá-lo da maneira que achar melhor. Mas qual é o melhor? Colocamos as IAs dominantes da Alphabet, OpenAI e Meta à prova.
O que você precisa saber sobre AI Chatbots
A inteligência artificial geral tem sido um objetivo dos cientistas da computação há décadas, e a IA tem servido como um esteio para escritores de ficção científica e cineastas por mais tempo ainda.
AGI exibe inteligência semelhante às capacidades cognitivas humanas e o teste de Turing— um teste da capacidade de uma máquina de exibir um comportamento inteligente indistinguível do de um humano — permaneceu quase incontestado nas sete décadas desde que foi apresentado pela primeira vez.
A recente convergência da computação em escala extremamente grande, grandes quantidades de dinheiro e o espantoso volume de informações livremente disponível na internet aberta permitiu que os gigantes da tecnologia treinassem modelos que podem prever a próxima seção de palavras - ou token - em uma sequência de tokens.
No momento da escrita, ambos Bardo do Google e ChatGPT da OpenAI estão disponíveis para você usar e testar por meio de suas interfaces da web.
O modelo de linguagem do Meta, LLaMa, não está disponível na web, mas você pode facilmente baixe e execute o LLaMa em seu próprio hardware e usá-lo através de uma linha de comando ou execute Dalai em sua própria máquina—um dos vários aplicativos com uma interface amigável.
Para fins de teste, executaremos o modelo Alpaca 7B da Universidade de Stanford - uma adaptação do LLaMa - e o compararemos com Bard e ChatGPT.
As comparações e testes a seguir não pretendem ser exaustivas, mas sim fornecer uma indicação dos principais pontos e capacidades.
Qual é o modelo de linguagem grande mais fácil de usar?
Tanto o Bard quanto o ChatGPT exigem uma conta para usar o serviço. As contas do Google e da OpenAI são fáceis e gratuitas de criar, e você pode começar a fazer perguntas imediatamente.
No entanto, para executar o LLaMa localmente, você precisará ter algum conhecimento especializado ou a capacidade de seguir um tutorial. Você também precisará de uma quantidade significativa de espaço de armazenamento.
Qual é o modelo de linguagem grande mais privado?
Tanto o Bard quanto o ChatGPT têm extensas políticas de privacidade, e o Google enfatiza repetidamente em seus documentos que você "não deve incluir informações que possam ser usadas para identificar você ou outras pessoas em seu Bard conversas".
Por padrão, o Google coleta suas conversas e sua localização geral com base em seu endereço IP, seus comentários e informações de uso. Essas informações são armazenadas em sua conta do Google por até 18 meses. Embora você possa pausar o salvamento de sua atividade no Bardo, você deve estar ciente de que "para ajudar na qualidade e melhorar nossos produtos, revisores humanos leem, anotam e processam suas conversas no Bardo".
O uso de Bard também está sujeito ao padrão Política de Privacidade do Google.
A política de privacidade da OpenAI é amplamente semelhante e coleta endereço IP e dados de uso. Em contraste com a retenção por tempo limitado do Google, a OpenAI "reterá suas informações pessoais apenas pelo tempo necessário para fornecer aos nossos Serviço para você ou para outros fins comerciais legítimos, como resolução de disputas, motivos de segurança e proteção ou cumprimento de nossas obrigações".
Por outro lado, um modelo local em sua própria máquina não requer uma conta nem compartilha dados do usuário com ninguém.
Qual LLM tem o melhor conhecimento geral?
Para testar qual LLM tem o melhor conhecimento geral, fizemos três perguntas.
A primeira pergunta, "Qual bandeira nacional tem cinco lados?" só foi respondida corretamente por Bard, que identificou a bandeira nacional do Nepal como tendo cinco lados.
O ChatGPT afirmou com confiança que "Não existe uma bandeira nacional que tenha cinco lados. As bandeiras nacionais são tipicamente retangulares ou quadradas, caracterizadas por suas cores, padrões e símbolos distintos".
Nosso modelo local chegou perto, afirmando que "A bandeira nacional indiana tem cinco lados e foi projetada em 1916 para representar a movimento de independência." Embora esta bandeira existisse e tivesse cinco lados, era a bandeira do Indian Home Rule Movement - não um bandeira nacional.
Nenhum de nossos modelos poderia responder que o termo correto para um objeto em forma de ervilha é "pisiforme", com o ChatGPT indo ao ponto de sugerir que as ervilhas têm uma "forma geométrica tridimensional que é perfeitamente redonda e simétrico."
Todos os três chatbots identificaram corretamente Franco Malerba como um astronauta italiano e membro do Parlamento Europeu, com Bard dando uma resposta redigida de forma idêntica a uma seção da Wikipedia de Malerba entrada.
Qual LLM é bom para instruções técnicas?
Quando você tem problemas técnicos, pode ficar tentado a pedir ajuda a um chatbot. Enquanto a tecnologia avança, algumas coisas permanecem as mesmas. O plugue elétrico BS 1363 está em uso na Grã-Bretanha, Irlanda e muitos outros países desde 1947. Perguntamos aos modelos de linguagem como conectá-lo corretamente.
Os cabos conectados ao plugue têm um fio energizado (marrom), um fio terra (amarelo/verde) e um fio neutro (azul). Estes devem ser conectados aos terminais corretos dentro do invólucro do plugue.
Nossa implementação Dalai identificou corretamente o plugue como "estilo inglês", depois desviou-se do curso e, em vez disso, deu instruções para o plugue BS 546 de pinos redondos mais antigo, juntamente com cores de fiação mais antigas.
O ChatGPT foi um pouco mais útil. Rotulou corretamente as cores da fiação e forneceu uma lista de materiais e um conjunto de oito instruções. ChatGPT também sugeriu colocar o fio marrom no terminal identificado como "L", o fio azul no "N" terminal e o fio amarelo em "E." Isso seria correto se os terminais BS1363 fossem rotulados, mas eles não são.
Bard identificou as cores corretas para os fios e nos instruiu a conectá-los aos terminais Fase, Neutro e Terra. Não deu instruções sobre como identificá-los.
Em nossa opinião. nenhum dos chatbots deu instruções suficientes para ajudar alguém a conectar corretamente um plugue elétrico BS 1363. Uma resposta concisa e correta seria: "Azul à esquerda, marrom à direita".
Qual LLM é bom para escrever código?
Python é uma linguagem de programação útil que roda na maioria das plataformas modernas. Instruímos nossos modelos a usar Python e "criar um programa básico de calculadora que possa realizar operações aritméticas como adição, subtração, multiplicação e divisão. Deve receber entrada do usuário e exibir o resultado." Este é um dos melhores projetos de programação para iniciantes.
Embora o Bard e o ChatGPT tenham retornado instantaneamente um código utilizável e totalmente comentado, que pudemos testar e verificar, nenhum código do nosso modelo local foi executado.
Qual LLM conta as melhores piadas?
O humor é um dos fundamentos do ser humano e certamente uma das melhores maneiras de diferenciar o homem da máquina. Para cada um de nossos modelos, demos o comando simples: "Crie uma piada original e engraçada".
Felizmente para os comediantes de todos os lugares e para a raça humana em geral, nenhum dos modelos foi capaz de gerar uma piada original.
Bard lançou o clássico: "Por que o espantalho ganhou um prêmio? Ele foi excelente em seu campo".
Tanto nossa implementação local quanto o ChatGPT ofereceram o que vale a pena reclamar: "Por que os cientistas não confiam nos átomos? Porque eles inventam tudo!"
Uma piada derivada, mas original, seria: "Como os grandes modelos de linguagem se parecem com os átomos? Ambos inventam coisas!"
Você lê aqui primeiro, pessoal.
Nenhum chatbot é perfeito
Descobrimos que, embora todos os três grandes modelos de linguagem tenham suas vantagens e desvantagens, nenhum deles pode substituir a experiência real de um ser humano por conhecimento especializado.
Embora o Bard e o ChatGPT tenham respondido melhor à nossa pergunta de codificação e sejam muito fáceis de usar, rodar um grande modelo de linguagem localmente significa que você não precisa se preocupar com privacidade ou censura.
Se você deseja criar uma ótima arte de IA sem se preocupar com a possibilidade de alguém estar olhando por cima do seu ombro, também é fácil executar um modelo de arte de IA em sua máquina local.