Modelos de linguagem grande (LLMs) são a tecnologia subjacente que impulsionou a ascensão meteórica de chatbots de IA generativos. Ferramentas como ChatGPT, Google Bard e Bing Chat dependem de LLMs para gerar respostas humanas às suas solicitações e perguntas.

Mas o que são LLMs e como eles funcionam? Aqui nos propusemos a desmistificar os LLMs.

O que é um modelo de linguagem grande?

Em seus termos mais simples, um LLM é um enorme banco de dados de dados de texto que pode ser referenciado para gerar respostas semelhantes às humanas para seus prompts. O texto vem de uma variedade de fontes e pode chegar a bilhões de palavras.

Entre as fontes comuns de dados de texto usadas estão:

  • Literatura: Os LLMs geralmente contêm grandes quantidades de literatura contemporânea e clássica. Isso pode incluir livros, poesia e peças de teatro.
  • conteúdo on-line: um LLM geralmente contém um grande repositório de conteúdo on-line, incluindo blogs, conteúdo da Web, perguntas e respostas de fóruns e outros textos on-line.
    • instagram viewer
  • Notícias e atualidades: Alguns LLMs, mas não todos, podem acessar tópicos de notícias atuais. Certos LLMs, como GPT-3.5, são restritos nesse sentido.
  • Mídia social: A mídia social representa um enorme recurso de linguagem natural. LLMs usam texto de grandes plataformas como Facebook, Twitter e Instagram.

É claro que ter um enorme banco de dados de texto é uma coisa, mas os LLMs precisam ser treinados para entendê-lo e produzir respostas semelhantes às humanas. Como ele faz isso é o que abordaremos a seguir.

Como funcionam os LLMs?

Como os LLMs usam esses repositórios para criar suas respostas? O primeiro passo é analisar os dados usando um processo chamado aprendizado profundo.

O aprendizado profundo é usado para identificar os padrões e nuances da linguagem humana. Isso inclui obter uma compreensão da gramática e da sintaxe. Mas importante, também inclui contexto. Entender o contexto é uma parte crucial dos LLMs.

Vejamos um exemplo de como os LLMs podem usar o contexto.

O prompt na imagem a seguir menciona a visão de um morcego à noite. A partir disso, o ChatGPT entendeu que estávamos falando de um animal e não, por exemplo, de um taco de baseball. Claro, outros chatbots como Bing Chat ou Google Bard pode responder a isso de forma completamente diferente.

No entanto, não é infalível e, como mostra este exemplo, às vezes você precisará fornecer informações adicionais para obter a resposta desejada.

Nesse caso, jogamos deliberadamente uma bola curva para demonstrar como o contexto é facilmente perdido. Mas os humanos também podem entender mal o contexto das perguntas e só precisam de um prompt extra para corrigir a resposta.

Para gerar essas respostas, os LLMs usam uma técnica chamada geração de linguagem natural (NLG). Isso envolve examinar a entrada e usar os padrões aprendidos de seu repositório de dados para gerar uma resposta contextualmente correta e relevante.

Mas os LLMs vão mais fundo do que isso. Eles também podem adaptar as respostas de acordo com o tom emocional da entrada. Quando combinadas com a compreensão contextual, as duas facetas são os principais impulsionadores que permitem que os LLMs criem respostas semelhantes às humanas.

Para resumir, os LLMs usam um enorme banco de dados de texto com uma combinação de aprendizado profundo e técnicas NLG para criar respostas semelhantes às humanas aos seus prompts. Mas há limitações para o que isso pode alcançar.

Quais são as limitações dos LLMs?

Os LLMs representam uma conquista tecnológica impressionante. Mas a tecnologia está longe de ser perfeita e ainda há muitas limitações quanto ao que eles podem alcançar. Alguns dos mais notáveis ​​estão listados abaixo:

  1. Compreensão contextual: Mencionamos isso como algo que os LLMs incorporam em suas respostas. No entanto, eles nem sempre acertam e muitas vezes não conseguem entender o contexto, levando a respostas inadequadas ou simplesmente erradas.
  2. Viés: Quaisquer vieses presentes nos dados de treinamento geralmente podem estar presentes nas respostas. Isso inclui preconceitos em relação a gênero, raça, geografia e cultura.
  3. Senso comum: O senso comum é difícil de quantificar, mas os humanos aprendem isso desde cedo simplesmente observando o mundo ao seu redor. Os LLMs não têm essa experiência inerente para recorrer. Eles só entendem o que lhes foi fornecido por meio de seus dados de treinamento, e isso não lhes dá uma verdadeira compreensão do mundo em que existem.
  4. Um LLM é tão bom quanto seus dados de treinamento: A precisão nunca pode ser garantida. O velho ditado de computador de "Garbage In, Garbage Out" resume essa limitação perfeitamente. Os LLMs são tão bons quanto a qualidade e a quantidade de seus dados de treinamento permitem que eles sejam.

Há também um argumento de que as preocupações éticas podem ser consideradas uma limitação dos LLMs, mas esse assunto está fora do escopo deste artigo.

3 exemplos de LLMs populares

O avanço contínuo da IA ​​agora é amplamente sustentado pelos LLMs. Portanto, embora não sejam exatamente uma nova tecnologia, certamente atingiram um ponto crítico e agora existem muitos modelos.

Aqui estão alguns dos LLMs mais usados.

1. GPT

O transformador pré-treinado generativo (GPT) é talvez o LLM mais conhecido. O GPT-3.5 capacita a plataforma ChatGPT usada para os exemplos neste artigo, enquanto a versão mais recente, GPT-4, está disponível através de uma assinatura do ChatGPT Plus. A Microsoft também usa a versão mais recente em sua plataforma Bing Chat.

2. LaMDA

Este é o LLM inicial usado pelo Google Bard, chatbot AI do Google. A versão com a qual Bard foi inicialmente lançada foi descrita como uma versão "lite" do LLM. A iteração PaLM mais poderosa do LLM substituiu isso.

3. BERT

BERT significa Bi-direcional Encoder Representation from Transformers. As características bidirecionais do modelo diferenciam BERT de outros LLMs como GPT.

Muito mais LLMs foram desenvolvidos e ramificações são comuns dos principais LLMs. À medida que se desenvolvem, eles continuarão a crescer em complexidade, precisão e relevância. Mas o que o futuro reserva para os LLMs?

O futuro dos LLMs

Sem dúvida, eles moldarão a maneira como interagimos com a tecnologia no futuro. A rápida aceitação de modelos como ChatGPT e Bing Chat é uma prova disso. A curto prazo, É improvável que a IA substitua você no trabalho. Mas ainda há incerteza sobre o tamanho do papel que eles desempenharão em nossas vidas no futuro.

Argumentos éticos ainda podem ter uma palavra a dizer sobre como integramos essas ferramentas na sociedade. No entanto, colocando isso de lado, alguns dos desenvolvimentos esperados do LLM incluem:

  1. Eficiência aprimorada:Com LLMs apresentando centenas de milhões de parâmetros, eles são incrivelmente famintos por recursos. Com melhorias em hardware e algoritmos, é provável que eles se tornem mais eficientes em termos de energia. Isso também irá acelerar os tempos de resposta.
  2. Consciência contextual aprimorada:LLMs são autodidatas; quanto mais uso e feedback eles recebem, melhores eles se tornam. É importante ressaltar que isso ocorre sem nenhuma engenharia importante adicional. À medida que a tecnologia avança, haverá melhorias nas capacidades de linguagem e consciência contextual.
  3. Treinado para Tarefas Específicas:As ferramentas de pau para toda obra que são a face pública dos LLMs são propensas a erros. Mas à medida que se desenvolvem e os usuários os treinam para necessidades específicas, os LLMs podem desempenhar um papel importante em áreas como medicina, direito, finanças e educação.
  4. Maior Integração: LLMs podem se tornar assistentes digitais pessoais. Pense em Siri com esteróides e você terá uma ideia. Os LLMs podem se tornar assistentes virtuais que o ajudam em tudo, desde sugerir refeições até lidar com sua correspondência.

Essas são apenas algumas das áreas em que os LLMs provavelmente se tornarão uma parte maior da maneira como vivemos.

LLMs Transformando e Educando

LLMs estão abrindo um mundo excitante de possibilidades. A rápida ascensão de chatbots como ChatGPT, Bing Chat e Google Bard é uma evidência dos recursos sendo despejados no campo.

Tal proliferação de recursos só pode fazer com que essas ferramentas se tornem mais poderosas, versáteis e precisas. As aplicações potenciais dessas ferramentas são vastas e, no momento, estamos apenas arranhando a superfície de um novo recurso incrível.