Apple hat eine Partnerschaft mit Nvidia angekündigt, um die Inferenz großer Sprachmodelle mithilfe ihrer Open-Source-Technologie, Recurrent Drafter (kurz: ReDrafter), zu beschleunigen. Diese Zusammenarbeit zielt darauf ab, die rechenintensiven Herausforderungen der auto-regressiven Token-Generierung anzugehen, um die Effizienz zu verbessern und die Latenz bei Echtzeit-Anwendungen von Sprachmodellen zu reduzieren.

ReDrafter wurde von Apple im November 2024 eingeführt und nutzt einen spekulativen Dekodierungsansatz, indem es ein RNN-Entwurfsmodell mit Beam Search und dynamischer Baum-Aufmerksamkeit kombiniert. Apples Benchmark-Daten zeigen, dass diese Methode 2,7-mal mehr Tokens pro Sekunde generiert im Vergleich zur traditionellen Auto-Regressionsmethode.

Die Integration von ReDrafter in das TensorRT-LLM-Framework von Nvidia erweitert den Einfluss und ermöglicht schnellere Inferenz von großen Sprachmodellen auf Nvidia-GPUs, die weit verbreitet in Produktionsumgebungen sind. Nvidia hat neue Operatoren eingeführt und bestehende im TensorRT-LLM angepasst, um die Technologie für Entwickler zugänglich zu machen, die die Leistung ihrer Modelle optimieren wollen.

Die Effizienz von ReDrafter hat das Potenzial, die Latenz für Benutzer zu reduzieren und dabei weniger GPUs zu benötigen. Diese Einsparungen senken nicht nur die Rechenkosten, sondern verringern auch den Energieverbrauch, was für Organisationen mit großen KI-Implementierungen entscheidend ist.

Obwohl die Zusammenarbeit zunächst auf die Infrastruktur von Nvidia abzielt, besteht die Möglichkeit, dass ähnliche Leistungsvorteile auch früher oder später auf konkurrierende GPUs von AMD oder Intel ausgedehnt werden könnten. Solche Durchbrüche können die Effizienz des maschinellen Lernens verbessern und innovative Modelle ermöglichen, um die Leistung auf Nvidia-GPUs zu steigern.