***Revolutionäre KI-Prozessor „Corsair“ von d-Matrix Inc. vorgestellt***

In Santa Clara, Kalifornien ansässige Hardware-Startup d-Matrix Inc. hat seinen ersten KI-Prozessor namens „Corsair“ vorgestellt, der darauf abzielt, die KI-Inferenz zu verbessern. Unterstützt von Microsoft und unter Einsatz modernster Technologie verzichtet Corsair auf herkömmliche GPUs und teure High-Bandwidth-Speicher (HBM) und bietet signifikante Leistungs- und Kostenvorteile. Der Prozessor ist derzeit für Frühzugangskunden verfügbar, mit einer breiteren Verfügbarkeit geplant für das zweite Quartal 2025.

Die Leistung von Corsair definiert die KI-Inferenz neu
Der Corsair-Prozessor ist speziell auf die Bewältigung anspruchsvoller KI-Inferenzaufgaben ausgelegt, insbesondere für generative KI-Modelle. Beispielsweise erreicht er bei der Ausführung von Llama3 8B auf einem einzelnen Server 60.000 Tokens pro Sekunde bei 1 ms pro Token. In ressourcenintensiveren Szenarien, wie bei Llama3 70B-Modellen, liefert Corsair 30.000 Tokens pro Sekunde bei 2 ms pro Token in einem einzelnen Rack, was im Vergleich zu herkömmlichen GPU-basierten Lösungen zu erheblichen Energie- und Betriebskosteneinsparungen führt.

Corsair ist auf Nighthawk- und Jayhawk-II-Kacheln aufgebaut und verwendet einen 6-nm-Fertigungsprozess. Jede Nighthawk-Kachel integriert vier neuronale Kerne und eine RISC-V-CPU, die darauf ausgelegt sind, die Inferenz großer Modelle mit Digital In-Memory Computation (DIMC) und vielseitiger Datentypenverarbeitung, einschließlich Block Floating Point (BFP), zu unterstützen. Corsair verwendet Chiplet-Verpackung, um Speicher und Verarbeitung zu integrieren und so die Effizienz zu maximieren. Jede Karte wird von 2400 TFLOPs Spitzenrechenleistung mit 8 Bit sowie 2 GB integriertem Leistungsspeicher und bis zu 256 GB Speicherkapazität außerhalb des Chipsatzes betrieben.

Es ist wichtig anzumerken, dass Micron Technology, ein wichtiger Partner von Nvidia, auch mit d-Matrix zusammenarbeitet. Ursprünglich für Ende 2023 geplant, hat d-Matrix seine Architektur angesichts der starken Nachfrage nach generativer KI umkonfiguriert. Dieser Schritt ermöglichte es Corsair, Verbesserungen für Transformer-Modelle und aufkommende Anwendungen wie agentic AI und interaktive Videogenerierung zu integrieren.

„Wir sahen Transformer und generative KI kommen und gründeten d-Matrix, um die Inferenzherausforderungen rund um die größte Rechenmöglichkeit unserer Zeit anzugehen“, sagte Sid Sheth, Mitbegründer und CEO von d-Matrix. „Die erste ihrer Art Corsair-Compute-Plattform bietet eine extrem schnelle Token-Generierung für Anwendungen mit hoher Interaktivität mit mehreren Benutzern, was Gen AI kommerziell rentabel macht“, fügte Sheth hinzu. Via eeNews

***Weitere interessante Artikel***
– Werfen Sie einen Blick auf einige der besten Prozessoren
– Das sind die besten Business-Tablets
– Betriebliche Silos könnten in Zukunft mehr Unternehmen überfordern