LangChain LLM é a conversa quente da cidade. Obtenha uma visão geral do que é e como você pode começar a usá-lo.

Com a introdução de grandes modelos de linguagem (LLMs), o Processamento de Linguagem Natural tem sido o assunto da internet. Novos aplicativos estão sendo desenvolvidos diariamente devido a LLMs como ChatGPT e LangChain.

LangChain é uma estrutura Python de código aberto que permite aos desenvolvedores desenvolver aplicativos baseados em grandes modelos de linguagem. Suas aplicações são chatbots, resumos, perguntas e respostas generativas e muito mais.

Este artigo fornecerá uma introdução ao LangChain LLM. Ele cobrirá os conceitos básicos, como ele se compara a outros modelos de linguagem e como começar a usá-lo.

Entendendo o LangChain LLM

Antes de explicar como funciona o LangChain, primeiro você precisa entender como funcionam os modelos de linguagem grandes. Um grande modelo de linguagem é um tipo de inteligência artificial (IA) que usa aprendizado profundo para treinar os modelos de aprendizado de máquina em big data, consistindo em dados textuais, numéricos e de código.

instagram viewer

A grande quantidade de dados permite que o modelo aprenda os padrões existentes e as relações entre palavras, figuras e símbolos. Esse recurso permite que o modelo execute uma série de tarefas, como:

  • Geração de texto, tradução de idiomas, redação de conteúdo criativo, técnico e acadêmico e respostas precisas e relevantes a perguntas.
  • Detecção de objetos em imagens.
  • Resumo de livros, artigos e trabalhos de pesquisa.

A limitação mais significativa dos LLMs é que os modelos são muito gerais. Esse recurso significa que, apesar de sua capacidade de executar várias tarefas com eficiência, às vezes eles podem fornecer respostas gerais a perguntas ou solicitações que exigem experiência e conhecimento de domínio profundo, em vez de específicas respostas.

Desenvolvido por Harrison Chase no final de 2022, a estrutura LangChain oferece uma abordagem inovadora para LLMs. O processo começa pré-processando os textos do conjunto de dados, dividindo-os em partes menores ou resumos. Os resumos são então inseridos em um espaço vetorial. O modelo recebe uma pergunta, pesquisa os resumos e fornece a resposta apropriada.

O método de pré-processamento do LangChain é um recurso crítico inevitável à medida que os LLMs se tornam mais poderosos e com uso intensivo de dados. Esse método é usado principalmente em casos de pesquisa de código e semântica, pois fornece coleta e interação em tempo real com os LLMs.

LangChain LLM vs. Outros modelos de linguagem

A visão geral comparativa a seguir visa destacar os recursos e capacidades exclusivos que diferenciam o LangChain LLM de outros modelos de idiomas existentes no mercado:

  • Memória: vários LLMs têm memória curta, o que geralmente resulta em perda de contexto se os prompts excederem o limite de memória. LangChain, no entanto, fornece os prompts e respostas de bate-papo anteriores, resolvendo o problema de limites de memória. O histórico de mensagens permite que um usuário repita as mensagens anteriores para o LLM para recapitular o contexto anterior.
  • Comutação LLM: Em comparação com outros LLMs que bloqueiam seu software com uma API de modelo único, o LangChain fornece uma abstração que simplifica a troca de LLMs ou a integração de vários LLMs em seu aplicativo. Isso é útil quando você deseja atualizar seus recursos de software usando um modelo compacto, como o Stability AI's StableLM diz do OpenAI's GPT-3.5.
  • Integração: A integração do LangChain em seu aplicativo é fácil em comparação com outros LLMs. Ele fornece fluxos de trabalho de pipeline por meio de correntes e agentes, permitindo que você incorpore rapidamente o LangChain em seu aplicativo. Em termos de pipelines lineares, as cadeias são objetos que conectam essencialmente várias partes. Os agentes são mais avançados, permitindo escolher como os componentes devem interagir usando a lógica de negócios. Por exemplo, você pode querer usar a lógica condicional para determinar o próximo curso de ação com base nos resultados de um LLM.
  • Passagem de dados: devido à natureza geral baseada em texto dos LLMs, geralmente é complicado passar dados para o modelo. LangChain resolve esse problema usando índices. Os índices permitem que um aplicativo importe dados em formatos variáveis ​​e os armazene de forma a possibilitar a entrega linha por linha a um LLM.
  • Respostas: LangChain fornece ferramentas de analisador de saída para fornecer respostas em um formato adequado, em oposição a outros LLMs cuja resposta do modelo consiste em texto geral. Ao usar IA em um aplicativo, é preferível ter uma resposta estruturada com a qual você possa programar.

Introdução ao LangChain LLM

Agora você aprenderá como implementar o LangChain em um cenário de caso de uso real para entender como ele funciona. Antes de iniciar o desenvolvimento, você precisa configurar o ambiente de desenvolvimento.

Configurando seu ambiente de desenvolvimento

Primeiro, criar um ambiente virtual e instale as dependências abaixo:

  • OpenAI: Para integrar a API GPT-3 em seu aplicativo.
  • LangChain: Para integrar LangChain em seu aplicativo.

Usando o pip, execute o comando abaixo para instalar as dependências:

 pipenv instalar langchain openai

O comando acima instala os pacotes e cria um ambiente virtual.

Importar as dependências instaladas

Primeiro, importe as classes necessárias, como LLMChain, OpenAI, ConversationChain, e PromptTemplate de langchain pacote.

de langchain importar ConversationChain, OpenAI, PromptTemplate, LLMChain
de langchain.memory importar ConversationBufferWindowMemory

As classes LangChain descrevem e executam as cadeias de modelo de linguagem.

Acesse a chave da API OpenAI

Em seguida, obtenha a chave da API OpenAI. Para acessar a chave API do OpenAI, você deve ter uma conta OpenAI e, em seguida, vá para o Plataforma API OpenAI.

No painel, clique no ícone Perfil. Em seguida, clique no Ver chaves de API botão.

A seguir, clique no Criar nova chave secreta botão para obter uma nova chave de API.

Insira o nome solicitado da chave de API.

Você receberá um chave secreta incitar.

Copie e armazene a chave de API em um local seguro para uso futuro.

Desenvolvendo um aplicativo usando LangChain LLM

Agora você desenvolverá um aplicativo de bate-papo simples da seguinte maneira:

# Personalize o modelo LLM 
modelo = Assistant é um grande modelo de linguagem treinado pela OpenAI.
{história}
Humano: {human_input}
Assistente:
prompt = PromptTemplate (input_variables=["história", "entrada_humana"], modelo = modelo)

Em seguida, você carregará a cadeia ChatGPT usando a chave API armazenada anteriormente.

chatgpt_chain = LLMChain(
 llm=OpenAI(openai_api_key="OPENAI_API_KEY",temperatura=0),
 prompt=prompt,
 detalhado =Verdadeiro,
 memory=ConversationBufferWindowMemory (k=2),
 )
# Preveja uma frase usando a cadeia chatgpt
output = chatgpt_chain.predict(
 human_input="O que é MakeUseOf?"
 )
# Exibe a resposta do modelo
imprimir (saída)

Esse código carrega a cadeia LLM com a chave de API OpenAI e o modelo de prompt. A entrada do usuário é fornecida e sua saída é exibida.

Acima está a saída esperada.

A crescente influência dos LLMs

O consumo de LLMs está crescendo rapidamente e mudando a forma como os humanos interagem com as máquinas do conhecimento. Estruturas como LangChain estão na vanguarda de fornecer aos desenvolvedores uma maneira simples e suave de servir os LLMs aos aplicativos. Modelos de IA generativa como ChatGPT, Bard e Hugging Face também não são deixados para trás nos aplicativos LLM avançados.