O Apple Neural Engine finalmente se livrou da sua maior limitação histórica no M5 Pro e M5 Max! Antes, no iPhone, iPad e Macs de baixo custo, o ANE já era a melhor opção de hardware para inferência (baixo consumo de energia, alta eficiência), cobrindo a grande maioria dos dispositivos da Apple. Mas nos Macs de alta gama (séries Pro/Max), a largura de banda de memória do ANE sempre foi muito inferior à do GPU, o que impediu que ele se expandisse bem para cargas de trabalho de modelos maiores/lotes maiores → isso se tornou a principal "deficiência" do ANE. Agora, o M5 Pro / M5 Max resolveu esse problema (provavelmente aumentando significativamente a largura de banda de memória do ANE, permitindo que ele concorra de forma mais justa com o GPU). O ANE finalmente poderá realmente mostrar seu potencial nos Macs de alta gama, e no futuro, a IA local (especialmente a inferência eficiente e de baixo consumo) terá um aumento explosivo.

A Apple acabou de lançar o novo MacBook Pro com M5 Pro e M5 Max O interessante é que é um design de chip pequeno! O CPU no M5 Pro e M5 Max é o mesmo CPU de 18 núcleos, contendo 6 núcleos de alta eficiência e 12 núcleos de desempenho, mas a GPU é de 20 núcleos na versão Pro e de 40 núcleos na versão Max.

Um engenheiro de pesquisa em ML/full-stack, que trabalha principalmente com AI, LLM e MLX. @JohnMai_Dev conseguiu realizar a inferência do modelo Qwen3.5-0.8B no chip Apple M1 Pro em 3 de março de 2026, utilizando diretamente o Apple Neural Engine (ANE). Baseado em um projeto de código aberto: um trabalho inovador que chama diretamente o Apple Neural Engine para treinamento e inferência, onde muitas pessoas pensavam que a Apple não abria o ANE para treinamento/inferência completos. Anteriormente, o ANE era usado principalmente para inferência do CoreML embutido no sistema, e era difícil para terceiros chamá-lo de forma eficiente. Agora, através do maderix/ANE, é possível usar o ANE para realizar a inferência direta de grandes modelos modernos (até mesmo algumas pessoas já estão fazendo treinamento de backprop). E com o modelo pequeno de 0.8B lançado pela Qwen + ANE = consumo de energia extremamente baixo, velocidade razoável e total privacidade local. O M1 Pro consegue rodar, o que significa que muitos usuários de Macs antigos (séries M1/M2) de repente têm uma opção de acelerador de AI muito eficiente, que consome menos energia e é mais rápido do que usar apenas GPU/CPU. A combinação do ANE transforma o Mac em uma estação de trabalho de AI local barata, permitindo que máquinas Apple mais antigas utilizem modelos grandes modernos em chinês (Qwen3.5 0.8B) para inferência, abrindo as portas para novas maneiras de fazer AI localmente e de forma eficiente.