Como executar um modelo de linguagem grande no Linux (e por que você deveria)

Grandes modelos de linguagem têm o potencial de revolucionar a maneira como você vive e trabalha e podem manter conversas e responder a perguntas com um grau variável de precisão.

Para usar um, você normalmente precisa de uma conta com um provedor LLM e fazer login por meio de um site ou aplicativo dedicado. Mas você sabia que pode executar seu próprio modelo de linguagem grande totalmente offline no Linux?

Por que executar um modelo de linguagem grande no Linux?

Modelos de linguagem grande (LLMs) estão em toda parte atualmente e podem processar linguagem natural e fornecer respostas apropriadas que podem induzi-lo a pensar que um humano respondeu. Microsoft está lançando uma nova versão do Bing com inteligência artificial, enquanto o alfabeto Bard agora é parte integrante das pesquisas do Google.

Longe dos mecanismos de busca, você pode usar os chamados "chatbots AI" para responder a perguntas, compor poesia ou até mesmo fazer sua lição de casa para você.

Mas, ao acessar os LLMs online, você depende da boa vontade de um provedor terceirizado - que pode ser retirado a qualquer momento.

Você também está sujeito a restrições de uso. Peça à OpenAI para escrever uma novela erótica de 6.000 palavras ambientada na Alemanha nazista, por exemplo, e você receberá uma resposta do tipo "Peço desculpas, mas não poderei gerar essa história para você".

Qualquer coisa que você insere nos LLMs online é usada para treiná-los ainda mais, e os dados que você deseja manter confidenciais podem ser cuspidos no futuro como parte de uma resposta à pergunta de outra pessoa.

Você também está sujeito à falta de serviço, pois o sistema está inundado de usuários e incomodado para se inscrever, para que você possa acessar a plataforma quando a demanda for alta.

Dalai é uma implementação gratuita e de código aberto do LLaMa LLM da Meta e Alpaca de Stanford. Ele funcionará confortavelmente em hardware modesto e fornecerá uma interface da Web prática e uma variedade de modelos de prompt - para que você possa perguntar o que quiser você quiser, sem medo de que um administrador feche sua conta, o LLM se recuse a responder ou sua conexão vá derrubar.

Quando você instala um LLM localmente no Linux, ele é seu e você pode usá-lo como quiser.

Como instalar Dalai no Linux

A maneira mais fácil de instalar o Dalai no Linux é usar o Docker e o Docker Compose. Se você ainda não os possui, consulte nosso guia sobre como instalar o Docker e o Docker Compose.

Com isso resolvido, você está pronto para começar a instalar o Dalai. Clone o repositório Dalai GitHub e use o comando cd para entrar nele:

git clone https://github.com/cocktailpeanut/dalai.git && cd dalai

Para colocar o Dalai em funcionamento com uma interface da Web, primeiro crie o arquivo Docker Compose:

compilação docker-compose

O Docker Compose baixará e instalará o Python 3.11, o Node Version Manager (NVM) e o Node.js.

No estágio sete de nove, a compilação parecerá congelar enquanto o Docker Compose baixa o Dalai. Não se preocupe: verifique o uso da largura de banda para se certificar de que algo está acontecendo e simule a evolução de organismos virtuais em seu terminal enquanto você espera.

Eventualmente, você retornará ao prompt de comando.

Dalai e os modelos LLaMa/Alpaca requerem muita memória para serem executados. Embora não haja nenhuma especificação oficial, um bom guia aproximado é de 4 GB para o modelo 7B, 8 GB para o modelo 13B, 16 GB para o modelo 30B e 32 GB para o modelo 65B.

Os modelos Alpaca são relativamente pequenos, com o modelo 13B atingindo modestos 7,6 GB, mas os pesos do LLaMA podem ser enormes: o download equivalente de 13B chega a 60,21GB, e o modelo de 65B ocupará meio terabyte épico em seu disco rígido disco.

Decida qual modelo é mais adequado para seus recursos e use o seguinte comando para instalá-lo:

docker-compose executar dalai npx dalai alpaca instalar 13B

Ou:

docker-compose executar dalai npx dalai lhama instalar 13B

Há uma chance de que os modelos baixados via Dalai possam estar corrompidos. Se este for o caso, pegue-os de rosto abraçado em vez de.

Depois de retornar ao prompt de comando, abra o Docker Compose no modo desanexado:

docker-compose up -d

Verifique se o contêiner está funcionando corretamente com:

docker-compose ps

Se tudo estiver funcionando como deveria, abra um navegador da Web e digite host local: 3000 na barra de endereço.

Divirta-se com seu próprio modelo de linguagem grande no Linux

Quando a interface da Web for aberta, você verá uma caixa de texto na qual poderá escrever seus prompts.

Escrever prompts eficazes é difícil, e os desenvolvedores do Dalai forneceram uma variedade de modelos que ajudarão você a obter uma resposta útil do Dalai.

Estes são Diálogo AI, chatbot, Padrão, Instrução, Reescrever, Traduzir, e Tweet-sentimento.

Como seria de esperar, o Diálogo AI e chatbot os modelos são estruturados de forma a permitir que você mantenha uma espécie de conversa com o LLM. A principal diferença entre os dois é que o chatbot deve ser "altamente inteligente", enquanto o AI-Dialog é "útil, gentil, obediente, honesto e conhece seus próprios limites".

Claro, esta é a sua "IA" e, se quiser, você pode alterar o prompt para que o chatbot seja burro e as características do diálogo de IA sejam "sádicas" e "inúteis". Você decide.

Nós testamos o Traduzir função copiando o parágrafo de abertura de uma notícia da BBC e pedindo a Dalai para traduzi-la para o espanhol. A tradução era boa e, quando a analisamos no Google Tradutor para transformá-la novamente em inglês, descobrimos que era bastante legível e ecoava os fatos e sentimentos da peça original.

Da mesma forma, o Reescrever template girou o texto de forma convincente na abertura de um novo artigo.

O Padrão e Instrução os prompts são estruturados para ajudá-lo a fazer perguntas ou instruir diretamente o Dalai.

A precisão da resposta do Dalai varia muito, dependendo do modelo que você está usando. Um modelo 30B será muito mais útil do que um modelo 7B. Mas, mesmo assim, você se lembra de que os LLMs são simplesmente sistemas sofisticados para adivinhar a próxima palavra em uma frase.

Nem os modelos 7B nem 13B Alpaca foram capazes de fornecer um resumo preciso de 200 palavras do conto, "Cat in the Rain" de Ernest Hemingway, e ambos criaram enredos e detalhes completamente convincentes sobre o que a história contido.

E enquanto o AI-Dialog "útil, gentil, obediente, honesto" que "conhece seus próprios limites" e o Chatbot "altamente inteligente" se recusarão a prompts controversos, você pode dar ao Dalai uma instrução direta ou solicitação padrão, e ele escreverá o que quiser - como quiser isto.

Um grande modelo de linguagem em sua máquina Linux é seu

Ao executar um grande modelo de linguagem em sua própria caixa Linux, você não está sujeito a supervisão ou retirada do serviço. Você pode usá-lo como achar melhor, sem medo das consequências por violar uma política de conteúdo corporativo.

Se seus recursos de computação forem poucos, você pode até executar um LLM localmente em um humilde Raspberry Pi.