NVIDIA, Vera CPU’nun ajan tabanlı işlerde hem yüksek hız hem de watt başına daha fazla kapasite sunduğunu açıkladı.
Ajanların CPU ihtiyacı artıyor
Şirkete göre yapay zeka ajanları yalnızca yanıt üretmekle kalmıyor; bilgi arıyor, veritabanlarını sorguluyor, kod yazıp test ediyor ve işlem yapıyor. Bu adımların her biri CPU’ya dayanıyor ve ajanlar bir görev sırasında GPU tabanlı çıkarım ile CPU yürütmesi arasında gidip geliyor.
İşletmeler daha fazla ajanı devreye aldıkça, yapay zeka fabrikalarının bu adımları hızlı biçimde yürütecek ve aynı anda çok sayıda ajana hizmet verecek CPU’lara ihtiyaç duyduğu belirtiliyor. Ayrıca bu altyapının, mevcut güç sınırları içinde çalışması gerekiyor.
NVIDIA’nın verdiği performans tablosu
NVIDIA’ya göre mesele, daha fazla ajanı desteklerken her birinin işi bitirmesini geciktirmemek. Şirket, yapay zeka fabrikalarının güç kısıtı altında çalıştığını ve bu nedenle operatörlerin, harcanan her watt başına en fazla işi yapan altyapıyı seçmesi gerektiğini vurguluyor.
Vera’nın, tek bir CPU içinde hem hızlı ajan performansı hem de watt başına yüksek kapasite sunduğu ifade ediliyor. Bu yaklaşımın, hız ve kapasite dengesini kurmak için farklı x86 parçaları bir arada kullanma ihtiyacını azaltabileceği belirtiliyor.
100 megawatt’lık merkez karşılaştırması
Şirketin paylaştığı verilere göre, 100-megawatt’lık bir veri merkezi karşılaştırmasında tek bir Vera CPU, hem en hızlı x86 CPU’dan hem de en enerji verimli x86 CPU’dan daha iyi performans gösterdi.
Vera’nın, en hızlı x86 CPU’ya kıyasla %1,6 daha fazla ajanı watt başına çalıştırabildiği aktarıldı. En enerji verimli x86 CPU ile karşılaştırıldığında ise Vera’nın ajan hızını 2x artırırken lider düzeyde enerji verimliliği sunduğu belirtildi.
Erken kullanıcı testlerinden sonuçlar
NVIDIA, Vera’nın yalnızca laboratuvar testlerinde değil, üretim benzeri testlerde de kullanıldığını söylüyor. Erken benimseyen kurumların aynı performans düzeyini gördüğü ifade ediliyor.
Perplexity’nin, ajan tabanlı kodlama görevlerini geleneksel CPU’lara göre 1,5x daha hızlı yürüttüğü; şirketin Vera’yı yaklaşan bir üretim sisteminde kullanmayı planladığı kaydedildi. DeepInfra ise üretim ajan iş yükünde en iyi x86 işlemciye kıyasla %2,2’ye kadar hız elde etti ve test edilen dört mimari arasında en hızlı sonucu aldı.
ClickHouse, DuckLabs, Daytona ve Modal testleri
ClickHouse tarafında, Vera’ya özel ayar yapılmayan standart ikilinin 176 çekirdek boyunca neredeyse doğrusal ölçeklendiği ve ClickBench donanım liderlik tablosunun zirvesine çıktığı belirtildi. DuckLabs ise Intel Xeon 6 taban çizgisine göre TPC-H SF1000 performansının medyanında yaklaşık 1,5x sonuç elde etti.
Daytona’nın Vera kullanarak 1.000 ajan sandbox’ını 10,8 saniyede çevrimiçi hale getirdiği, 2.000 eşzamanlı sandbox ile saniyede 12,7 tamamlanmış iş ürettiği ve bunun x86 ile 88,4 saniye sürdüğü aktarıldı. Modal da çekirdek başına benzer x86 donanıma kıyasla sandbox verimini %2’ye kadar artırdı; kazanımların yoğun yük altında büyüdüğü ifade edildi.
