O que é aprendizagem por transferência de IA e como funciona?

Se você estiver interessado em treinar seu próprio modelo de IA para processamento de linguagem natural (NLP) ou visão computacional, familiarize-se com o aprendizado por transferência e como usar modelos pré-treinados.

Sem o aprendizado por transferência, o treinamento de um modelo eficaz e confiável geralmente será um esforço proibitivo de recursos, exigindo muito dinheiro, tempo e experiência, com o desenvolvedor do ChatGPT OpenAI estimado para ter gasto milhões treinando GPT-3, GPT-3.5 e GPT-4. Com o poder do aprendizado por transferência, você pode treinar seu próprio modelo tão poderoso quanto o modelo GPT mais recente com poucos recursos em um curto período.

O que é aprendizagem por transferência de IA?

A aprendizagem por transferência é a ideia de usar um modelo pré-treinado como o BERT ou um dos diferentes modelos GPT e treiná-lo em um conjunto de dados personalizado para trabalhar em tarefas para as quais não foi necessariamente treinado.

Por exemplo, você pode pegar um modelo pré-treinado para classificar diferentes espécies de gatos e treiná-lo para classificar cães. Por meio do aprendizado por transferência, treinar seu modelo de classificação de cães deve levar muito menos tempo e recursos para se tornar tão confiável quanto o modelo original de classificação de gatos.

Isso funciona porque cães e gatos compartilham muitas características que o modelo pré-treinado já pode identificar. Como o modelo de classificação de gatos pode identificar as várias características de um gato, como ter quatro patas, casacos de pele e focinhos, o modelo de classificação de cães pode pular todo o treinamento para identificar essas características e herdá-las do original modelo. Depois de herdar todas essas redes neurais, você corta as últimas camadas do modelo treinado usado para identificar as características mais específicas de um gato e as substitui por um conjunto de dados específico para cães.

Quais modelos de IA você pode usar para Transfer Learning?

Para usar o aprendizado por transferência, você precisará de um modelo pré-treinado. Um modelo pré-treinado é comumente conhecido como um modelo de IA treinado com o objetivo de obter conhecimento geral sobre um determinado assunto ou ideia. Esses tipos de modelos pré-treinados são feitos propositadamente para que as pessoas ajustem e criem modelos mais específicos de aplicativos. Alguns dos modelos pré-treinados mais populares são para PNL, como BERT e GPTe visão computacional, como VGG19 e Inceptionv3.

Embora populares, esses modelos facilmente ajustáveis ​​não são os únicos que você pode usar para aprendizado por transferência. Você também pode usar modelos treinados em tarefas mais específicas do que objetos gerais ou reconhecimento de linguagem. Desde que o modelo tenha desenvolvido redes neurais aplicáveis ​​ao modelo que você está tentando treinar, você pode usar praticamente qualquer modelo para aprendizado por transferência.

Você pode obter modelos pré-treinados disponíveis publicamente em locais como TensorFlow Hub, Hugging Face e o mercado de modelos OpenAI.

Benefícios do uso do AI Transfer Learning

O aprendizado de transferência oferece vários benefícios em relação ao treinamento de um modelo de IA do zero.

• Tempo de treinamento reduzido: Ao treinar um modelo a partir do zero, grande parte do processo de treinamento é gasto no conhecimento básico geral. Por meio do aprendizado por transferência, seu modelo herda automaticamente todo esse conhecimento fundamental, reduzindo significativamente o tempo de treinamento.
• Menos Requisito de Recursos: Como todo o conhecimento fundamental já está lá, tudo o que você precisa fazer é treinar ainda mais o modelo para as especificidades de seu aplicativo. Isso geralmente requer apenas um conjunto de dados relativamente pequeno que pode ser processado com menos poder de computação.
• Performance melhorada: A menos que você gaste milhões de dólares construindo seu modelo a partir do zero, não pode esperar um modelo tão bom ou confiável quanto um LLM (Large Language Model) de uma empresa gigante de tecnologia. Ao usar o aprendizado de transferência, você pode aproveitar os recursos poderosos desses LLMs pré-treinados, como GPT, para aprimorar o desempenho do seu modelo.

É possível treinar um modelo de IA do zero, mas você precisa de mais recursos para fazer isso.

Como funciona o aprendizado por transferência?

Em essência, existem três estágios quando se trata de transferência de aprendizagem.

• Selecionando um modelo pré-treinado: Um modelo pré-treinado passa pelo treinamento inicial usando um conjunto de dados considerável de uma tarefa de origem, como ImageNet, ou uma grande coleção de texto. Essa fase inicial de treinamento permite que o modelo adquira conhecimento de características e padrões gerais encontrados no conjunto de dados. A quantidade de tempo e recursos economizados com o aprendizado por transferência dependerá das semelhanças entre o modelo pré-treinado e o modelo que você está tentando criar.
• Extração de recursos: Depois que um modelo pré-treinado é selecionado para ajuste fino, as camadas iniciais do modelo pré-treinado (mais próximas da entrada) são congeladas; isso significa que seus pesos são mantidos fixos durante o ajuste fino. Congelar essas camadas retém o conhecimento geral aprendido durante a fase de pré-treinamento e evita que elas sejam fortemente influenciadas pelo conjunto de dados específico de tarefas do modelo de destino. Para modelos totalmente treinados para aplicativos específicos, as camadas finais dos modelos são removidas ou desaprendidas para que o modelo de destino seja treinado em outros aplicativos específicos.
• Afinação: Depois que o modelo pré-treinado foi congelado e as camadas superiores removidas, um novo conjunto de dados é alimentado ao algoritmo de aprendizado, que é então usado para treinar o novo modelo e as especificidades de sua aplicação.

Há mais do que os três estágios, mas este esboço detalha aproximadamente como funciona o processo de aprendizado de transferência de IA, com alguns ajustes.

Limitações ao AI Transfer Learning

Embora o aprendizado por transferência seja um conceito valioso no treinamento de modelos eficazes e confiáveis, existem algumas limitações que você precisa conhecer ao usar o aprendizado por transferência para treinar um modelo.

• Incompatibilidade de tarefas: Ao escolher um modelo base para transferência de aprendizado, ele precisa ser o mais relevante possível para os problemas que o novo modelo resolverá. Usar um modelo que classifica gatos para criar um modelo de classificação de cães tem mais probabilidade de produzir melhores resultados do que usar um modelo de classificação de carros para criar um modelo para plantas. Quanto mais relevante for o modelo base para o modelo que você está tentando construir, mais tempo e recursos você economizará ao longo do processo de aprendizado de transferência.
• Viés do conjunto de dados: Embora os modelos pré-treinados sejam frequentemente treinados em grandes conjuntos de dados, ainda existe a possibilidade de terem desenvolvido um viés específico durante o treinamento. Usar o modelo base altamente tendencioso também faria com que o modelo herdasse seus vieses, reduzindo assim a precisão e a confiabilidade do seu modelo. Infelizmente, a origem desses vieses é difícil de identificar devido à natureza de caixa-preta do aprendizado profundo.
• Sobreajuste: Um dos principais benefícios do aprendizado por transferência é que você pode usar um conjunto de dados relativamente pequeno para treinar um modelo ainda mais. No entanto, treinar o modelo em um conjunto de dados muito pequeno pode causar overfitting, o que reduz significativamente a confiabilidade do modelo quando fornecido com novos dados.

Portanto, embora o aprendizado por transferência seja uma técnica útil de aprendizado de IA, existem limitações e não é uma bala de prata.

Você deve usar o Transfer Learning?

Desde a disponibilidade de modelos pré-treinados, o aprendizado de transferência sempre foi usado para criar modelos mais especializados. Não há realmente nenhuma razão para não usar o aprendizado de transferência se já houver um modelo pré-treinado relevante para os problemas que seu modelo resolverá.

Embora seja possível treinar um modelo simples de aprendizado de máquina do zero, fazer isso em um modelo de aprendizado profundo exigirá muitos dados, tempo e habilidade, o que não fará sentido se você puder reaproveitar um modelo existente semelhante ao que planeja trem. Portanto, se você deseja gastar menos tempo e dinheiro treinando um modelo, tente treinar seu modelo por meio do aprendizado por transferência.