Ein Full-Stack/ML-Forschungsingenieur, der hauptsächlich an AI, LLM und MLX arbeitet. @JohnMai_Dev hat am 3. März 2026 erfolgreich die Inferenz des Qwen3.5-0.8B-Modells auf dem Apple M1 Pro-Chip realisiert, und zwar direkt unter Verwendung der Apple Neural Engine (ANE). Basierend auf einem Open-Source-Projekt: Durchbrucharbeit, die die direkte Nutzung der Apple Neural Engine für Training und Inferenz ermöglicht, nachdem viele dachten, dass Apple die ANE nicht für vollständiges Training/Inferenz öffnet. Früher wurde die ANE hauptsächlich für die systeminterne CoreML-Inferenz verwendet, und es war für Dritte schwierig, sie direkt effizient zu nutzen. Jetzt kann man mit maderix/ANE die ANE direkt für die Vorwärtsinferenz moderner großer Modelle nutzen (sogar einige haben bereits mit Backprop-Training begonnen). Und basierend auf dem Qwen 0.8B-Modell bedeutet ANE = extrem niedriger Stromverbrauch, anständige Geschwindigkeit und vollständige Privatsphäre vor Ort. Der M1 Pro kann das ausführen, was bedeutet, dass viele alte Mac-Benutzer (M1/M2-Serie) plötzlich eine sehr effiziente AI-Beschleunigungsoption haben, die weniger Strom verbraucht und schneller ist als nur die Verwendung von GPU/CPU. Die Kombination mit ANE verwandelt den Mac vollständig in eine kostengünstige lokale AI-Workstation, und alte Apple-Geräte können moderne chinesische große Modelle (Qwen3.5 0.8B) für Inferenz nutzen, was die Tür zu neuen, effizienten AI-Anwendungen auf dem Mac öffnet.

Der CUDA-Agent ist das erste bekannte, mit RL trainierte Modell, das Claude Opus 4.5 (und Gemini 3 Pro) in der CUDA-Kernel-Generierung übertrifft! Der CUDA-Agent von ByteDance verwendet **agentisches verstärkendes Lernen**, um ein Modell zu trainieren, das automatisch leistungsstarke CUDA-Kernel generiert und direkt mit der realen GPU-Profilierungsgeschwindigkeit belohnt wird – und sich von herkömmlichen Ansätzen abhebt. Wichtige Benchmark-Daten auf KernelBench: - Einfache/mittlere Kernel (Level-1/2): **100%** schneller als torch.compile - Komplexe Kernel (Level-3): **92%** schnellere Rate - Insgesamt: **96,8%** schnellere Rate im Vergleich zu torch.compile, mit ~2,11× geometrischem Mittelgeschwindigkeitszuwachs - Übertrifft die stärksten proprietären Modelle wie Claude Opus 4.5 und Gemini 3 Pro um etwa **40%** bei den schwierigsten Level-3-Aufgaben (wo diese Modelle nur ~66–69% der Zeit torch.compile schlagen) Die wahre Obergrenze für KI-Hardware ist nicht der Silizium selbst – es ist die Fähigkeit zur "**Softwarefreischaltung + Optimierungs-Closed-Loop**". Kombiniert mit dem gleichzeitigen Durchbruch von Apple ANE: - Apple M4 ANE: **6,6 TFLOPS/W** (~80× effizienter als A100), mit Hunderten von Millionen von Geräten, die untätig sind; der Engpass sind Apples geschlossene APIs + Abstraktionsschichten (CoreML verbirgt 2–4× den tatsächlichen Durchsatz) - NVIDIA GPUs: RL-Agenten lernen "**extreme Optimierung unter echtem Hardware-Feedback**", was beweist, dass erlernte Strategien statische Regeln/Compiler übertreffen können Die Leistungsschutzmaßnahmen der Hardware-Giganten (Apple/NVIDIA) werden durch KI **doppelt getötet**: Reverse Engineering zerschlägt geschlossene APIs (verwandelt untätige Chips in Rechenfarmen), während RL jeden letzten Tropfen aus bestehenden GPUs herauspresst. In Zukunft wird der wahre Engpass nicht die Rechenhardware sein – es ist, wer zuerst den "**hardware-nativen Feedback + autonomen Lernoptimierungs**" Closed Loop meistert. Durch die Kombination von weichen und harten Taktiken kann jeder, der die Leistung bestehender Geräte um 2×, 10× oder mehr steigert, schrittweise die Mauern der Giganten niederreißen. Dieses kumulative Wachstum schafft Geschwindigkeiten, die über menschliche Intuition hinausgehen: von 10× → 100× → 1.000× innerhalb weniger Jahre. Die Ära des **On-Device-Trainings** (ANE-Seite) + **Cloud/Edge-extreme Inferenz** (CUDA-Agent-Seite) beschleunigt sich schnell. KI kann jetzt "**selbstoptimieren**" nahe theoretischen Höchstständen. Das ungenutzte Potenzial in Hunderten von Millionen untätigen Apple-Geräten + massiven NVIDIA-Karten wird kollektiv von unabhängigen Hackern, Unternehmen und Forschern aufgeschlossen.

Der CUDA-Agent ist das erste bekannte RL-Trainingsmodell, das in der Generierung von CUDA-Kernen Claude Opus-4.6 und Gemini 3 Pro übertroffen hat! Der CUDA-Agent verwendet agentisches RL, um automatisch leistungsstarke CUDA-Kerne zu generieren, wobei die tatsächliche GPU-Profiling-Geschwindigkeit als Belohnungssignal dient und die Konventionen durchbricht. Schauen Sie sich die folgenden Daten an: KernelBench-Benchmark: Einfache/mittlere Kerne sind 100 % schneller als torch.compile, komplexe Kerne 92 % schneller. Insgesamt 96,8 % schneller im Vergleich zu torch.compile, weit über Claude Opus 4.5/Gemini 3 Pro (ca. 40 %). Die wahre Obergrenze der AI-Hardware ist die Fähigkeit zur "Softwarefreischaltung + Optimierungsschleife" und nicht nur der Chip selbst. In Verbindung mit dem gleichzeitig stattfindenden Apple ANE-Ereignis: Apple M4 ANE: 6,6 TFLOPS/W (≈80-mal so viel wie A100), Hunderte Millionen Geräte sind ungenutzt, der Flaschenhals sind geschlossene APIs + Abstraktionsschichten (CoreML maskiert 2–4-fache Durchsatzrate). NVIDIA GPU: Der RL-Agent hat "extreme Optimierungen unter echtem Hardware-Feedback" gelernt und bewiesen, dass die erlernten Strategien statische Regeln übertreffen können. Die Leistungsmauer der Hardware (Apple/NVIDIA) wird durch die "Reverse Engineering + RL-Optimierung" von AI doppelt angegriffen – erstere sprengt geschlossene APIs und verwandelt ungenutzte Chips in Rechenleistung-Farmen, letztere nutzt Reinforcement Learning, um jede Leistung aus bestehenden GPUs herauszuholen. In Zukunft wird nicht die Rechenleistung der Flaschenhals sein, sondern wer zuerst den "Hardware-nativen Feedback + selbstlernenden Optimierungs"-Kreislauf beherrscht, sowohl Software als auch Hardware kombiniert, wer die Leistung bestehender Geräte verdoppeln kann, wird Schritt für Schritt die Mauern der Giganten durchbrechen. Dieses hybride Wachstum wird Geschwindigkeiten erzeugen, die für den Menschen schwer zu erkennen sind: innerhalb von Jahren von 10-fach auf 100-fach → 1.000-fach. Die Ära des on-device Trainings (ANE-Seite) + extremen Inferenz in der Cloud/Edge (CUDA-Agent-Seite) beschleunigt sich, AI kann sich selbst "optimieren" und sich der theoretischen Spitze annähern. Hunderte Millionen ungenutzte Apple-Geräte + das Potenzial von massiven NVIDIA-Karten werden kollektiv von unabhängigen Hackern/Firmen/Forschern aufgebrochen.