Perşembe günü, AI platformu Clarifai, AI modellerinin çalışma hızını iki kat artıracak ve maliyetlerini %40 oranında düşürecek yeni bir akıl yürütme motorunu tanıttı. Farklı modellere ve bulut sunucularına uyum sağlayacak şekilde tasarlanan bu sistem, aynı donanımdan daha fazla çıkarım gücü elde etmek için çeşitli optimizasyonlar kullanıyor.
CEO Matthew Zeiler, “Farklı türde optimizasyonlar var, bunlar CUDA çekirdeklerinden gelişmiş spekülatif kod çözme tekniklerine kadar uzanıyor,” dedi. “Temelde aynı kartlardan daha fazlasını alabiliyorsunuz.”
Sonuçlar, üçüncü taraf firma Artificial Analysis tarafından yapılan bir dizi benchmark testleriyle doğrulandı. Bu testler, hem verimlilik hem de gecikme açısından sektörün en iyi kayıtlarını kaydetti.
Bu süreç, zaten eğitilmiş bir AI modelinin işletilmesiyle ilgili hesaplama taleplerine odaklanıyor. Son zamanlarda, tek bir komuta yanıt olarak birden fazla adım gerektiren ajans ve akıl yürütme modellerinin artışıyla birlikte bu hesaplama yükü özellikle yoğunlaştı.
İlk olarak bir bilgisayarla görme hizmeti olarak başlatılan Clarifai, AI patlamasıyla birlikte GPU ve bunları barındıran veri merkezlerine olan talebin hızla artmasıyla birlikte hesaplama orkestrasyonuna daha fazla odaklanmaya başladı. Şirket, yeni akıl yürütme motorunun çok adımlı ajans modellerine özel olarak tasarlanmış ilk ürün olduğunu duyurdu.
Yeni ürün, AI altyapısına yönelik yoğun baskının ortasında ortaya çıktı. Bu baskı, milyar dolarlık bir dizi anlaşmayı tetikledi. OpenAI, yeni veri merkezi harcamaları için 1 trilyon dolara kadar planlar açıkladı ve gelecekte neredeyse sınırsız bir hesaplama talebi öngörüyor. Ancak, donanım geliştirmeleri yoğun bir şekilde devam ederken, Clarifai CEO’su mevcut altyapıyı optimize etme konusunda daha fazla yol olduğunu düşünüyor.
Zeiler, “Bu tür iyi bir modeli daha ileriye götüren yazılım hileleri var, örneğin Clarifai akıl yürütme motoru gibi, ama aynı zamanda gigawatt veri merkezlerine olan ihtiyacı azaltmaya yardımcı olabilecek algoritma iyileştirmeleri de var. Ve algoritma yeniliklerinin sonuna geldiğimizi düşünmüyorum,” diyor.
