Google, özel yapım yapay zeka hızlandırıcıları olan Tensor İşlem Üniteleri’ni (TPU) 10 yıldan fazla bir süredir geliştiriyor. Ön izlemede sunulduktan birkaç ay sonra altıncı nesil TPU’sunu genel erişime açıkladığını duyurdu. Trillium, TPU’nun HBM kapasitesini ve Interchip Bağlantı bant genişliğini ikiye katlıyor ve teknoloji devinin bayrak gemisi yapay zeka modeli Gemini 2.0’ı eğitmek için kullanıldı. Trillium, önceki TPU nesillerine kıyasla dolar başına eğitim performansında %2.5’e varan bir iyileşme sunuyor.

Trillium, önceki modeline kıyasla eğitim performansında dört katı aşan bir gelişme sağlıyor. Enerji verimliliği %67 artarken, çip başına zirve hesaplama performansı 4.7 kat artmış durumda. Trillium ayrıca çıkarım performansını da artırıyor. Google’ın testleri, Stabil Diffüzyon XL gibi görüntü oluşturma modelleri için üç kat ve büyük dil modelleri için hemen hemen iki kat daha yüksek verimlilik gösterdiğini belirtiyor. Trillium TPU, gömme yoğun modeller için optimize edilmiş olup üçüncü nesil SparseCore’ü, dinamik ve veri bağımlı işlemler için daha iyi performans sağlıyor.

Trillium TPU ayrıca Google Cloud’un yapay zeka hiperbilgisayarının temelini oluşturuyor. Bu sistem, 13 Petabit/sn bant genişliği sağlayan Jupiter ağı kumaşı üzerinden bağlı 100.000’den fazla Trillium çipi içeriyor. Trillium büyük ölçüde optimize edilmiş donanım, açık yazılım ve JAX, PyTorch ve TensorFlow gibi popüler makine öğrenme çerçevelerini entegre eden bu yapay zeka altyapısını sunuyor. Genel erişime açılan Trillium ile Google Cloud müşterileri, Gemini 2.0’ı eğitmek için kullanılan aynı donanıma erişme fırsatına sahip olacaklar. Bu da geniş bir uygulama yelpazesi için yüksek performanslı yapay zeka altyapısını daha erişilebilir hale getiriyor.