O que é o mecanismo neural da Apple e como ele funciona?

Seu iPhone, iPad, Mac e Apple TV usam uma unidade de processamento neural especializada chamada Apple Neural Engine (ANE), que é muito mais rápida e mais eficiente em termos de energia do que a CPU ou a GPU.

O ANE possibilita recursos avançados no dispositivo, como processamento de linguagem natural e análise de imagem, sem acessar a nuvem ou usar energia excessiva.

Vamos explorar como o ANE funciona e sua evolução, incluindo a inferência e a inteligência que ele fornece nas plataformas da Apple e como os desenvolvedores podem usá-lo em aplicativos de terceiros.

O que é o Apple Neural Engine (ANE)?

Apple Neural Engine é um nome de marketing para um cluster de núcleos de computação altamente especializados otimizados para a execução com eficiência energética de redes neurais profundas em dispositivos Apple. Ele acelera os algoritmos de aprendizado de máquina (ML) e inteligência artificial (IA), oferecendo enormes vantagens de velocidade, memória e energia em relação à CPU ou GPU principal.

O ANE é uma grande parte do motivo pelo qual os iPhones, iPads, Macs e Apple TVs mais recentes são responsivos e não esquentam durante cálculos pesados ​​de ML e AI. Infelizmente, nem todos os dispositivos da Apple têm um ANE - o Apple Watch, os Macs baseados em Intel e os dispositivos anteriores a 2016 não possuem um.

O primeiro ANE que estreou no chip A11 da Apple no iPhone X de 2017 era poderoso o suficiente para suportar Face ID e Animoji. Em comparação, o ANE mais recente no chip A15 Bionic é 26 vezes mais rápido que a primeira versão. Atualmente, o ANE habilita recursos como o Siri offline, e os desenvolvedores podem usá-lo para executar modelos de ML previamente treinados, liberando a CPU e a GPU para se concentrar em tarefas mais adequadas a eles.

Como funciona o mecanismo neural da Apple?

ANE fornece controle e lógica aritmética otimizada para executar operações de computação extensivas como multiplicação e acumulação, comumente usada em algoritmos de ML e AI, como classificação de imagem, análise de mídia, tradução automática e mais.

De acordo com Patente da Apple intitulado "Multi-Mode Planar Engine for Neural Processor", o ANE consiste em vários núcleos de mecanismo neural e um ou mais circuitos planares multi-modo.

O design é otimizado para computação paralela, onde muitas operações, como multiplicações de matrizes executadas em trilhões de iterações, devem ser executadas simultaneamente.

Para acelerar a inferência em algoritmos de IA, a ANE usa modelos preditivos. Além disso, o ANE possui seu próprio cache e suporta apenas alguns tipos de dados, o que ajuda a maximizar o desempenho.

Recursos de IA desenvolvidos pela ANE

Aqui estão alguns recursos do dispositivo com os quais você pode estar familiarizado que o ANE torna possível.

• Processamento de linguagem natural: Reconhecimento de voz mais rápido e confiável para ditado e Siri; Aprendizagem de linguagem natural aprimorada no aplicativo Translate e em todo o sistema; Tradução instantânea de texto em Fotos, Câmera e outros aplicativos do iPhone.
• visão computacional: encontrar objetos em imagens como pontos de referência, animais de estimação, plantas, livros e flores usando o aplicativo Fotos ou a pesquisa do Spotlight; Obtendo informações adicionais sobre objetos reconhecidos usando Visual Look Up em locais como Safari, Mail e Mensagens.
• Realidade aumentada: Oclusão de pessoas e rastreamento de movimento em aplicativos AR.
• análise de vídeo: Detecção de rostos e objetos em vídeo em aplicativos como o Final Cut Pro.
• efeitos de câmera: Corte automático com Center Stage; Desfoque de fundo durante chamadas de vídeo do FaceTime.
• jogos: Efeitos fotorrealistas em videogames 3D.
• Texto ao vivo: Fornecendo reconhecimento óptico de caracteres (OCR) em Câmera e Fotos, permitindo que você copie facilmente caligrafia ou texto como uma senha de Wi-Fi ou endereço de imagens.
• fotografia computacional: Deep Fusion analisa pixels para melhor redução de ruído, maior faixa dinâmica e melhor exposição automática e balanço de branco, aproveitando o Smart HDR quando apropriado; Fotografia de profundidade de campo rasa, incluindo tirar retratos no modo noturno; Ajustando o nível de desfoque do fundo com Controle de profundidade.
• Petiscos: ANE também é usado para estilos fotográficos no aplicativo da câmera, curadoria de memórias e efeitos estilísticos em fotos, recomendações personalizadas, como sugestões de papel de parede, legendas de imagens VoiceOver, localização de imagens duplicadas em Fotos, etc

Alguns dos recursos mencionados acima, como reconhecimento de imagem, também funcionam sem a presença de um ANE, mas funcionarão muito mais lentamente e sobrecarregarão a bateria do seu dispositivo.

Uma breve história do Apple Neural Engine: do iPhone X aos Macs M2

Em 2017, a Apple implantou seu primeiro ANE na forma de dois núcleos especializados no chip A11 do iPhone X. Pelos padrões de hoje, era relativamente lento, com apenas 600 bilhões de operações por segundo.

O ANE de segunda geração apareceu dentro do chip A12 em 2018, com quatro vezes mais núcleos. Avaliado em cinco trilhões de operações por segundo, este ANE foi quase nove vezes mais rápido e usou um décimo da potência de seu antecessor.

O chip A13 de 2019 tinha o mesmo ANE de oito núcleos, mas rodava um quinto mais rápido enquanto usava 15% menos energia, um produto do nó semicondutor aprimorado de 7 nm da TSMC. A TSMC (Taiwan Semiconductor Manufacturing Company) fabrica chips projetados pela Apple.

A evolução do Apple Neural Engine

No ano seguinte, o Apple A14 quase dobrou o desempenho do ANE para 11 trilhões de operações por segundo, alcançado aumentando o número de núcleos ANE de 8 para 16. Em 2021, o A15 Bionic se beneficiou do processo de 5 nm de segunda geração da TSMC, que impulsionou ainda mais o desempenho do ANE para 15,8 trilhões de operações por segundo sem adicionar mais núcleos.

Os primeiros chips M1, M1 Pro e M1 Max vinculados ao Mac tinham o mesmo ANE do A14, trazendo ML e IA avançados e acelerados por hardware para a plataforma macOS pela primeira vez.

Em 2022, o M1 Ultra combinou dois chips M1 Max em um único pacote usando a interconexão personalizada da Apple chamada UltraFusion. Com o dobro dos núcleos ANE (32), o M1 Ultra dobrou o desempenho ANE para 22 trilhões de operações por segundo.

O Apple A16 em 2022 foi fabricado usando o nó N4 aprimorado da TSMC, trazendo desempenho ANE cerca de 8% mais rápido (17 trilhões de operações por segundo) em comparação com o ANE do A15.

Os primeiros iPads habilitados para ANE foram o iPad mini de quinta geração (2019), o iPad Air de terceira geração (2019) e o iPad de oitava geração (2020). Todos os iPads lançados desde então têm um ANE.

Como os desenvolvedores podem usar o ANE em aplicativos?

Muitos aplicativos de terceiros usam ANE para recursos que de outra forma não seriam viáveis. Por exemplo, o editor de imagem Pixelmator Pro fornece ferramentas como ML Super Resolution e ML Enhance. E no djay Pro, o ANE separa batidas, instrumentais e faixas vocais de uma gravação.

No entanto, desenvolvedores terceirizados não obtêm acesso de baixo nível ao ANE. Em vez disso, todas as chamadas ANE devem passar pela estrutura de software da Apple para aprendizado de máquina, Core ML. Com o Core ML, os desenvolvedores podem criar, treinar e executar seus modelos de ML diretamente no dispositivo. Esse modelo é então usado para fazer previsões com base em novos dados de entrada.

"Depois que um modelo está no dispositivo de um usuário, você pode usar o Core ML para retreiná-lo ou ajustá-lo no dispositivo, com os dados desse usuário", de acordo com a visão geral do Core ML no Site da Apple.

Para acelerar os algoritmos de ML e IA, o Core ML aproveita não apenas o ANE, mas também a CPU e a GPU. Isso permite que o Core ML execute um modelo mesmo que nenhum ANE esteja disponível. Mas com um ANE presente, o Core ML funcionará muito mais rápido e a bateria não será descarregada tão rapidamente.

Muitos recursos da Apple não funcionariam sem o ANE

Muitos recursos no dispositivo não seriam possíveis sem o processamento rápido dos algoritmos de IA e ML e a pegada de memória minimizada e o consumo de energia que o ANE traz para a mesa. A mágica da Apple é ter um coprocessador dedicado para executar redes neurais de forma privada no dispositivo, em vez de transferir essas tarefas para servidores na nuvem.

Com o ANE, tanto a Apple quanto os desenvolvedores podem implementar redes neurais profundas e colher os benefícios da aceleração aprendizado de máquina para vários modelos preditivos, como tradução automática, detecção de objetos, classificação de imagens, etc.