Sagence AI revolutioniert AI Inferenz mit Analog-In-Memory Compute – Effizienter, kostengünstiger, integrativSagence AI hat eine fortschrittliche analoge In-Memory-Compute-Architektur vorgestellt, die die Herausforderungen von Leistung, Kosten und Skalierbarkeit bei AI-Inferenzsystemen adressiert. Diese innovative Lösung bietet Verbesserungen in der Energieeffizienz und Kosteneffektivität und erreicht gleichzeitig eine Leistung, die mit bestehenden High-End-GPU- und CPU-Systemen vergleichbar ist. Mit diesem Schritt positioniert sich Sagence AI als potenzieller Disruptor in einem Markt, der derzeit von Nvidia dominiert wird.

Effizienz und Leistung
Die Architektur von Sagence bietet erhebliche Vorteile bei der Verarbeitung großer Sprachmodelle wie Llama2-70B. Normalisiert auf 666.000 Tokens pro Sekunde liefert die Technologie von Sagence ihre Ergebnisse mit einer 10-fach geringeren Energieverbrauch, 20-mal niedrigeren Kosten und 20-mal kleineren Rackplatz im Vergleich zu führenden GPU-basierten Lösungen. Dieses Design priorisiert die Anforderungen der Inferenz gegenüber dem Training und spiegelt den Wandel im Fokus der KI-Berechnung in Rechenzentren wider. Mit ihrer Effizienz und Erschwinglichkeit bietet Sagence eine Lösung für die wachsende Herausforderung, eine Rendite für Investitionen (ROI) sicherzustellen, wenn KI-Anwendungen auf groß angelegte Bereitstellungen ausgeweitet werden.

Kern der Innovation von Sagence ist die analoge In-Memory-Computing-Technologie, die Speicherung und Rechenleistung innerhalb der Speicherzellen zusammenführt. Durch die Eliminierung der Notwendigkeit für separate Speicher- und geplante Multiplikations-Accumulate-Schaltkreise vereinfacht dieser Ansatz die Chip-Entwürfe, reduziert die Kosten und verbessert die Energieeffizienz. Sagence setzt auch auf Deep Subthreshold Computing in Mehrstufenspeicherzellen – eine branchenweit einmalige Innovation – um die für skalierbare KI-Inferenz erforderlichen Effizienzgewinne zu erzielen.

Herkömmliche CPU- und GPU-basierte Systeme sind auf komplexe dynamische Zeitplanung angewiesen, die die Hardwareanforderungen, Ineffizienzen und den Energieverbrauch erhöht. Die statisch geplante Architektur von Sagence vereinfacht diese Prozesse und spiegelt biologische neuronale Netzwerke wider. Das System ist auch darauf ausgelegt, sich nahtlos in bestehende KI-Entwicklungs-Frameworks wie PyTorch, ONNX und TensorFlow zu integrieren. Sobald trainierte neuronale Netzwerke importiert sind, eliminiert die Architektur von Sagence die Notwendigkeit für eine weitere GPU-basierte Verarbeitung, vereinfacht die Bereitstellung und reduziert die Kosten.

„Ein grundlegender Fortschritt in der KI-Inferenz-Hardware ist für die Zukunft der KI von entscheidender Bedeutung. Der Einsatz großer Sprachmodelle (LLMs) und Generative KI erfordert rasche und massive Veränderungen im Kern der Rechentechnik, die eine beispiellose Kombination aus höchster Leistung bei niedrigstem Energieverbrauch und Wirtschaftlichkeit erfordern, die die Kosten dem geschaffenen Wert anpasst“, sagte Vishal Sarin, CEO & Founder von Sagence AI.

„Die heute vorhandenen leistungsstarken KI-Inferenzcomputing-Geräte kosten zu viel, um wirtschaftlich tragfähig zu sein, und verbrauchen zu viel Energie, um Umwelt nachhaltig zu sein. Unsere Mission ist es, diese Leistungs- und wirtschaftlichen Einschränkungen auf umweltverträgliche Weise zu überwinden“, fügte Sarin hinzu.

Via IEEE Spectrum

Ähnliche Themen
Vergessen Sie die RTX 4000-Serie, treffen Sie die RTX 3060Gigabytes neue RTX 4090 behebt das größte Problem der GrafikkarteLernen Sie die Nvidia-GPU kennen, die ChatGPT zum Leben erweckt