Apple, Nvidia ilə birgə çalışıaraq Recurrent Drafter (və ya qısaca ReDrafter) adlı açıq mənbəli texnologiyasını istifadə edərək geniş dil modeli təxmini (LLM) sürətləndirməyə başlayacağını duyurdu. Bu ortaqlıq, canlı LLM tətbiqlərində effektivliyi artırmaq və gecikməni azaltmaq məqsədilə avto-regressiv token generasiyasının hesablama problemlərini həll etməyi hədəfləyir. 2024-cü il noyabr ayında təqdim edilən ReDrafter, recurrent nöron şəbəkəsi (RNN) qrafik modelini, bölüşmə axtarışını və dinamik ağac diqqətinin birləşdirilməsi ilə irəli təxminə yanaşması götürür. Apple’ın testləri göstərir ki, bu metot gelenəkse autoreqressiyaya nisbətən saniyədə 2,7 dəfə daha çox token yaradır.

Nvidia’nın TensorRT-LLM çərçivəsi ilə birləşdirilməsi vasitəsilə ReDrafter, istehsal mühitində geniş şəkildə istifadə olunan Nvidia GPU-larında sürətli LLM təxminə edilməsini təmin edərək təsirlərini genişlədirir. ReDrafter alqoritmlərinə yer açmaq məqsədilə Nvidia, TensorRT-LLM daxilində yeni operatorlar təqdim etdi və mövcud olanları həll etdi, buna görə də performansını böyük ölçüdə optimallaşdırmaq istəyən bütün proqramçılara texnologiyalarını təklif etdi. Sürətli əməlyatların əlavə olunması ilə Apple, ReDrafterın istifadəçi gecikməsini azaldabileceyini və daha az GPU tələb edə biləcəyini deyir. Bu effektivlik, yalnız hesablama xərclərinin azalmasına kömək etmir, həm də böyük ölçüdə AI implementasiyalarını idarə edən təşkilatlar üçün vital olan enerji istifadəsini azaldır.
Bu əməkdaşlığın fokusundakı mərkəzi infrastruktura yaxın vaxtlarda qalır, amma gələcəkdə AMD və Intel kimi rəqabətçi GPU-lara bənzər performans nəticələri genişləndiriləcək ehtimalı var. Bu kimi bürclər, maşın öyrənmə effektivliyini artırmağa kömək edə bilər. Nvidia deyir ki, “Bu əməkdaşlıq, TensorRT-LLM-i daha güclü və daha flexibl edir, LLM cəmiyyətini daha daha incəsənətkar modellər inkişaf etdirməyə və onları TensorRT-LLM ilə asan şəkildə tətbiq etməyə imkan verir, bu da Nvidia GPU-larında qarşılaşılmaz performans əldə etmək üçün keyfiyyətli model hazırlamaq üçün rutubətdə olan imkanlar açar. Bu yeni xüsusiyyətlər maraqlı imkanlar açır və biz cəmiyyətdən TensorRT-LLM imkanlarını istifadə edərək daha ustun model növünü gözləyirik ki, bu da LLM iş yüklərində daha irəliləmələrə gətirəcək.”Apple’ın Nvidia ilə əməkdaşlığı haqqında daha ətraflı məlumatı Nvidia Developer Texniki Bloqunda oxuya bilərsiniz. Bu xəbərləri də xoşunuza gələ bilər:Siri “təsadüfi olaraq” gizli söhbətləri qeyd etdikdən sonra Apple 95 milyon dollar ödəyəcəkApple, öz AI xidmət etmək üçün server cip inşa etməyə tələb olunurLLM’lar haqqında məhz biləcəyiniz hər şey