O que é a Jukebox da OpenAI e o que você pode fazer com ela?

A IA generativa está se espalhando lentamente para cada vez mais disciplinas na indústria criativa. Começou com geradores de arte de IA e depois se espalhou para a escrita com texto gerado por IA. Agora, podemos adicionar música a essa lista.

Em um futuro próximo, a música gerada por IA, gerada do zero, se tornará realidade. Na verdade, já é uma possibilidade com o Jukebox, o modelo de IA de criação de música da OpenAI. Ainda não está disponível em um aplicativo fácil de usar e ainda não parece bom o suficiente, mas os ossos algorítmicos estão lá.

Aqui está o que você precisa saber sobre a Jukebox da OpenAI e o que você pode fazer com ela.

Jukebox: IA que gera música como áudio bruto

Jukebox é uma rede neural que pode gerar música em forma de áudio bruto quando você fornece informações como gênero, artista ou letra. Foi lançado em abril de 2020 pela OpenAI, a mesma empresa que nos trouxe o gerador de arte AI chamado Dall-E, e o chatbot AI chamado ChatGPT.

Ao contrário do Dall-E, que se espalhou rapidamente pelo mundo e tornou a IA um tema febril das notícias e da mídia, o Jukebox não registrou grande interesse após seu lançamento. Uma razão para isso é que ele não possui um aplicativo da Web amigável - pelo menos ainda não.

Você pode encontrar o código no Site da OpenAI, juntamente com uma explicação detalhada de como funciona o processo de codificação e decodificação.

Outra razão provável é que leva uma quantidade enorme de tempo e poder de computação. Para se ter uma ideia, apenas um minuto de áudio pode levar 9 horas para renderizar. Você precisará de disposição para explorar o modelo em sua forma de código, além de muita paciência se quiser ver o que um modelo de IA pode fazer para gerar música.

Ou, você pode pular para o Explorador de amostra Jukebox. É aqui que a OpenAI postou seus experimentos de geração de músicas à semelhança de Ella Fitzgerald ou 2Pac.

Para ser claro, outras ferramentas de música AI existem para ajudar você a gerar uma música, mas não geram áudio do zero. Em vez disso, eles estão combinando amostras pré-gravadas ou criando informações MIDI que são colocadas em um sintetizador digital.

Como é o som da Jukebox?

Os resultados do Jukebox são reconhecíveis, mas estranhos. Não é difícil perceber a forma da música e o género a que pertence, mas a qualidade dos resultados faz soar como se você estivesse ouvindo algumas das primeiras músicas gravadas: isto é, abafado com bastante barulho.

É seguro dizer que o Jukebox não produz o tipo de som de alta fidelidade que você ouviria de um bom par de fones de ouvido. É mais como ouvir música de uma estação de rádio que não está totalmente sintonizada na frequência certa. Algumas músicas são releituras, enquanto outras são continuações de músicas existentes. Há também uma categoria para novos artistas e estilos e letras inéditas.

Apesar da qualidade do som, os primeiros experimentadores descrevem que ficaram impressionados com a beleza misteriosa e a natureza bizarra da música criada pela Jukebox. "Como uma trilha sonora para documentação sobre um país desconhecido com uma cultura desconhecida", escreve Merzmench no Médio.

Atualmente, os resultados estão longe de serem bons o suficiente para copiar, ou mesmo substituir, música criada por humanos, mas o a tecnologia está se movendo rapidamente e, em breve, modelos como Jukebox serão capazes de realizar essas proezas também.

Como a Jukebox da OpenAI foi treinada

Parte de como o Jukebox é capaz de criar música que nunca existiu antes é que ele é treinado na música de músicos reais. A OpenAI explica que:

“Para treinar esse modelo, rastreamos a web para selecionar um novo conjunto de dados de 1,2 milhão de músicas (600.000 das quais estão em inglês), emparelhadas com as letras e metadados correspondentes do LyricWiki”.

O rastreamento de dados é uma prática usada por algumas empresas de IA para criar um conjunto de dados que um modelo de IA pode usar para aprender e tomar decisões ao gerar uma imagem, texto ou, neste caso, música. Conjuntos de dados criados por rastreamento são controversos porque o consentimento não é obtido dos proprietários dos dados em primeiro lugar. Embora algumas plataformas permitam que você exclua seu conteúdo dos conjuntos de dados.

Você pode pensar que 1,2 milhão de músicas é muito, mas, em comparação, o Dall-E 2 foi treinado em centenas de milhões de pares imagem-texto da Internet. Pensando nisso, o Jukebox tem suas limitações.

Seu pool de treinamento relativamente pequeno não consegue capturar a riqueza e a diversidade da música humana. O OpenAI afirmou que é amplamente treinado na música ocidental, representando uma clara tendência em qual música é capaz de gerar.

O que você pode fazer com a Jukebox?

Então, com suas limitações em mente, o que você pode fazer com o Jukebox? Uma maneira rápida de responder a essa pergunta é dizer o que você não pode fazer com o Jukebox.

Como leva quase meio dia para renderizar um minuto de música, não é muito útil para produzir música. Pelo menos, não no sentido tradicional. Normalmente, os músicos alternam entre tocar um instrumento (improvisar) e planejar a estrutura de uma música. O mesmo tipo de experimento não é possível com o Jukebox.

Como não é fácil criar uma música com o Jukebox nesse estágio, você pode pensar nisso mais como uma nova maneira de gerar amostras de música. Depois de gerar o áudio de que você gosta, você pode usá-lo em seus projetos criativos como faria normalmente.

O vídeo abaixo é o resultado de alguém usando música criada com Jukebox para destacar um pequeno vídeo de montagem.

A inteligência artificial tem uma ampla gama de aplicações fora das aplicações criativas também, e é por isso que vale a pena entender o que é IA e os perigos que ela representa.

Você é movido pela música AI?

A música gerada pelo Jukebox não é fácil de descartar e, apesar de toda a sua estranheza e estranha qualidade homem-máquina, no final soa como música. Embora a indústria da música já use ferramentas de IA há algum tempo, a possibilidade de gerar música como áudio bruto só agora é uma realidade.

Mas, embora existam modelos como o Jukebox, eles ainda precisam ser empacotados em uma ferramenta comercial e ainda ficam aquém das capacidades dos músicos humanos.