Existem muitos chatbots com tecnologia de IA disponíveis, mas qual usa o melhor LLM? Veja como você pode comparar LLMs para descobrir qual é o melhor.
Com vários chatbots disponíveis online, pode ser extremamente difícil selecionar aquele que atenda às suas necessidades. Embora você possa comparar dois chatbots manualmente, isso exigirá tempo e esforço consideráveis.
Uma maneira melhor e mais simples é usar o Chatbot Arena para comparar os diferentes LLMs que alimentam os chatbots populares. Oferece alguns modos de comparação entre os vários modelos, que explicamos a seguir.
O que é Chatbot Arena?
Criado pela LMSYS Org, o Chatbot Arena é uma plataforma para avaliar vários LLMs. Utiliza o sistema Elo Rating para classificar os diversos modelos.
O Chatbot Arena oferece algumas maneiras para os usuários compararem e avaliarem LLMs. Com base no feedback enviado, o Chatbot Arena classifica os diferentes LLMs na tabela de classificação pública. O projeto é patrocinado por HuggingFace, uma alternativa de código aberto ao ChatGPT.
Como comparar LLMs anônimos com Chatbot Arena
O modo de batalha do Chatbot Arena permite comparar LLMs anonimamente. Por exemplo, você pode compare ChatGPT (GPT 3.5) e Claude. Isso significa que o próprio Chatbot Arena seleciona quaisquer dois modelos de idiomas e, sem revelar seus nomes, permite compará-los.
Ao entrar no primeiro prompt, o Chatbot Arena busca respostas de ambos os modelos, apresentando-as lado a lado. A plataforma permite regenerar respostas (para ambos os LLMs) e limpar o histórico para iniciar uma conversa diferente. Você pode continuar fazendo mais perguntas até selecionar um vencedor claro.
Então, você pode escolher se o modelo A é melhor ou B. Ao selecionar o vencedor, o Chatbot Arena revela os nomes de ambos os bots. Este modo funciona muito bem porque sua decisão não é afetada pela percepção anterior ou popularidade dos modelos. O Chatbot Arena também permite ajustar parâmetros como temperatura, Top P e tokens de saída máximos.
Como comparar LLMs selecionados com Chatbot Arena
Se quiser comparar dois LLMs específicos, você pode mudar para o modo lado a lado do Chatbot Arena. Além do fato de que você mesmo pode escolher os LLMs, este modo funciona quase da mesma forma que o modo de batalha. Você pode ajustar parâmetros, regenerar respostas, limpar histórico e selecionar um vencedor no final.
No entanto, o número de LLMs disponíveis neste modo é limitado. Você pode selecionar diferentes versões do Llama 2, Vicuna e ChatGLM. Embora os LLMs populares, como GPT-4, GPT-3.5, Claude 1, Claude 2, etc., estejam atualmente indisponíveis neste modo, o Chatbot Arena planeja adicioná-los.
Compare LLMs usando Chatbot Arena
Esteja você procurando um chatbot adequado para suas necessidades ou apenas queira testar diferentes LLMs, o Chatbot Arena é uma ótima plataforma.
Ele fornece uma maneira simplificada de comparar diferentes modelos de linguagem lado a lado. E como mantém uma tabela de classificação baseada no feedback dos usuários, você pode visualizar diretamente as classificações de vários modelos sem executar os testes sozinho.
