Silicon Valley-Startup d-Matrix, unterstützt von Microsoft, hat eine Lösung auf Chiplet-Basis entwickelt, die für schnelle, kleine Inferenz von LLMs in Unternehmensumgebungen konzipiert ist. Die Architektur verfolgt einen vollständig digitalen Compute-in-Memory-Ansatz und nutzt modifizierte SRAM-Zellen für Geschwindigkeit und Energieeffizienz. Das aktuelle Produkt von d-Matrix, Corsair, wird als „erste KI-Compute-Plattform ihrer Art“ beschrieben und verfügt über zwei d-Matrix-ASICs auf einer vollständigen PCIe-Karte mit vier Chiplets pro ASIC. Corsair erreicht eine Gesamtleistung von 9,6 PFLOPs FP4-Computing-Power mit 2 GB SRAM-basierter Leistungsspeicher. Im Gegensatz zu traditionellen Designs, die auf teurem HBM basieren, verwendet Corsair LPDDR5-Kapazitätsspeicher mit bis zu 256 GB pro Karte für die Bearbeitung größerer Modelle oder Batch-Inferenz-Workloads.

Die Herangehensweise von d-Matrix eliminiert den Engpass, indem Berechnungen direkt im Speicher durchgeführt werden. Geschäftsführer Sid Sheth teilte EE Times mit, dass das Unternehmen 2019 gegründet wurde, nachdem Rückmeldungen von Hyperscalern darauf hindeuteten, dass Inferenz die Zukunft sei. Corsair wird ab dem zweiten Quartal 2025 in die Massenproduktion gehen, und d-Matrix plant bereits seinen nächsten ASIC der nächsten Generation, Raptor, der 3D-gestapelten DRAM integrieren wird, um Reasoning-Workloads und größere Speicherkapazitäten zu unterstützen.

Mit Corsair verspricht d-Matrix eine um 10-fach bessere Interaktionsleistung, 3-fache Energieeffizienz und 3-fache Kostenleistung im Vergleich zu GPU-Alternativen wie dem beliebten Nvidia H100. Das Unternehmen setzt auf Transformer-Netzwerke und geht davon aus, dass der Bedarf an Inferenz seit 2022 stark zugenommen hat.