Embora a OpenAI esteja liderando o caminho para o desenvolvimento de IA generativa, muitos acusaram o Google de ficar para trás. No entanto, para não ficar atrás, o Google lançou um novo modelo de linguagem grande, PaLM 2, em sua conferência Google I/O de 2023.
Definido para vir em quatro tamanhos diferentes para uma variedade de aplicativos, o novo LLM do Google aparentemente já está alimentando vários serviços do Google, com muito mais por vir.
O que é PaLM 2?
No Google I/O 2023, realizado em 10 de maio, o CEO do Google, Sunda Pichai, revelou o mais recente brinquedo do Google: PaLM 2.
Abreviação de Pathways Language Model 2, o LLM atualizado do Google é a segunda iteração do PaLM, com a primeira versão lançada em abril de 2022. Não consegue se lembrar do PaLM? Bem, na época, foi uma grande notícia e recebeu muito interesse por sua capacidade de conversar um pouco, contar piadas básicas e assim por diante. Avanço rápido de seis meses e O GPT-3.5 da OpenAI explodiu tudo fora da água, incluindo PaLM.
Desde então, OpenAI lançou GPT-4, uma grande atualização no GPT-3.5. No entanto, enquanto o modelo mais recente está sendo integrado a várias ferramentas, principalmente o Bing AI Chat da Microsoft, o Google está mirando em OpenAI e GPT-4 com PaLM 2 e espera que seu LLM atualizado possa fechar o que parecia ser uma lacuna significativa - o lançamento do Google Bard dificilmente foi um estrondo sucesso.
Pichai anunciou que o PaLM 2 virá em quatro tamanhos de modelo diferentes: Gecko, Otter, Bison e Unicorn.
O Gecko é tão leve que pode funcionar em dispositivos móveis e é rápido o suficiente para ótimos aplicativos interativos no dispositivo, mesmo quando offline. Essa versatilidade significa que o PaLM 2 pode ser ajustado para oferecer suporte a classes inteiras de produtos de mais maneiras, para ajudar mais pessoas.
Com o Gecko capaz de processar cerca de 20 tokens por segundo - tokens são os valores atribuídos a palavras reais para uso por modelos de IA generativos - parece ser um divisor de águas para ferramentas de IA implementáveis em dispositivos móveis.
Dados de treinamento do PaLM 2
O Google não estava exatamente disponível com os dados de treinamento do PaLM 2, o que é compreensível, visto que acabou de ser lançado. Mas o Google Relatório PaLM 2 [PDF] disse que queria que o PaLM 2 tivesse uma compreensão mais profunda de matemática, lógica e ciência, e que grande parte de seu corpus de treinamento se concentrasse nesses tópicos.
Ainda assim, vale a pena notar que o PaLM não era desleixado. Quando Google revelou PaLM, confirmou que foi treinado em 540 bilhões de parâmetros, o que na época era um número colossal.
O GPT-4 da OpenAI supostamente usa mais de um trilhão de parâmetros, com algumas especulações colocando esse número em até 1,7 trilhão. É uma aposta segura que, como o Google deseja que o PaLM 2 concorra diretamente com os LLMs da OpenAI, ele apresentará, no mínimo, um número comparável, se não mais.
Outro impulso significativo para o PaLM 2 são seus dados de treinamento de idiomas. O Google treinou o PaLM 2 em mais de 100 idiomas para oferecer maior profundidade e compreensão contextual e aumentar seus recursos de tradução.
Mas não são apenas idiomas falados. Vinculando-se à demanda do Google por PaLM 2 para oferecer melhor raciocínio científico e matemático, o LLM tem também foi treinado em mais de 20 linguagens de programação, o que o torna um recurso fenomenal para programadores.
O PaLM 2 já está capacitando os serviços do Google, mas ainda requer um ajuste fino
Não demorará muito até que possamos colocar as mãos no PaLM 2 e ver o que ele pode fazer. Com alguma sorte, o lançamento de qualquer aplicativo e serviço PaLM 2 será melhor do que o Bard.
Mas você pode ter (tecnicamente!) usado o PaLM 2 já. O Google confirmou que o PaLM 2 já está implantado e em uso em 25 de seus produtos, incluindo Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets e muito mais.
Mas o relatório PaLM 2 também revela que ainda há trabalho a ser feito, especificamente em relação a respostas tóxicas em vários idiomas.
Por exemplo, quando recebem instruções tóxicas especificamente, o PaLM 2 gera respostas tóxicas em mais de 30% das vezes. Além disso, em idiomas específicos – inglês, alemão e português – o PaLM 2 apresentou respostas tóxicas mais mais de 17 por cento do tempo, com instruções incluindo identidades raciais e religiões empurrando essa figura mais alto.
Não importa o quanto os pesquisadores tentem limpar os dados de treinamento do LLM, é inevitável que alguns escapem. A próxima fase é continuar treinando PaLM 2 para reduzir essas respostas tóxicas.
É um período de expansão para grandes modelos de linguagem
A OpenAI não foi a primeira a lançar um grande modelo de linguagem, mas seus modelos GPT-3, GPT-3.5 e GPT-4, sem dúvida, iluminaram o papel de toque azul na IA generativa.
O PaLM 2 do Google tem alguns problemas para resolver, mas o fato de já estar em uso em vários serviços do Google mostra a confiança que a empresa tem em seu último LLM.
