Tensormesh, AI Sunucularındaki İnferans Verimliliğini Artırmak İçin 4.5 Milyon Dolar Yatırım Aldı

Yapay zeka altyapısındaki büyük ivme, GPU’ların verimliliğini artırma baskısını zirveye çıkardı. Bu durum, belirli bir teknik alanında uzmanlaşmış araştırmacılar için yatırım toplama açısından büyük bir fırsat sunuyor.

Bu bağlamda, Tensormesh, bu hafta 4.5 milyon dolar değerinde tohum finansmanı ile gizli durumdan çıkış yaptı. Yatırım, Laude Ventures tarafından liderlik edilirken, ek olarak veri tabanı öncüsü Michael Franklin‘dan da destek alındı.

Tensormesh, bu yatırımı, Tensormesh’in kurucu ortağı Yihua Cheng tarafından başlatılan ve sürdürülen açık kaynak LMCache aracının ticari versiyonunu geliştirmek için kullanmayı planlıyor. LMCache etkili bir şekilde kullanıldığında, inferans maliyetlerini 10 kat azaltabilme potansiyeline sahip; bu durum, onu açık kaynak dağıtımlarında vazgeçilmez hale getiriyor ve Google ve Nvidia gibi devlerle entegrasyonlar sağlamasını sağlıyor. Şimdi Tensormesh, bu akademik itibarı sürdürülebilir bir iş modeline dönüştürmeyi hedefliyor.

Tensormesh’in ürününün temelini oluşturan anahtar-değer önbelleği (KV cache), karmaşık girdileri daha verimli işlemek için bunları anahtar değerlerine yoğunlaştırarak kullanılan bir bellek sistemidir. Geleneksel mimarilerde, KV önbelleği her sorgunun sonunda atılırken, Tensormesh’in kurucu ortağı ve CEO’su Junchen Jiang, bunun büyük bir verimsizlik kaynağı olduğunu savunuyor.

“Bu, tüm verileri okuyan çok zeki bir analistin olması gibi, ancak her soru sonrasında öğrendiklerini unuttuğunu düşünün,” diyor Jiang.

KV önbelleğini atmaktansa, Tensormesh sistemleri bunu saklayarak, modelin ayrı bir sorguda benzer bir süreç yürütmesi gerektiğinde yeniden kullanılmasını sağlıyor. GPU belleği son derece kıymetli olduğundan, bu durum verilerin farklı depolama katmanları arasında yayılmasına neden olabiliyor; ancak karşılığında aynı sunucu yükü ile önemli ölçüde daha fazla inferans gücü elde ediliyor.

Bu değişiklik, sohbet arayüzleri için özellikle etkili, çünkü modellerin sohbet ilerledikçe büyüyen sohbet kaydına sürekli olarak geri dönmesi gerekiyor. Benzer şekilde, agentic sistemler de, artan bir eylem ve hedef kaydına sahip olma sorununu yaşamaktadır.

Teorik olarak, bu değişiklikleri AI şirketleri kendi başlarına gerçekleştirebilir; ancak teknik karmaşıklık, bunu zorlu bir görev haline getiriyor. Tensormesh ekibinin bu süreci araştırma ve detayların karmaşıklığı konusundaki deneyimi, kutudan çıkar çıkmaz kullanılabilecek bir ürün için büyük bir talep olacağına dair bir bahis oynamalarını sağlıyor.

“KV önbelleğini ikincil bir depolama sisteminde tutarak, tüm sistemi yavaşlatmadan verimli bir şekilde yeniden kullanmak oldukça zorlu bir problem,” diyor Jiang. “Böyle bir sistemi inşa etmek için insanların 20 mühendisi işe aldığını ve üç veya dört ay harcadığını gördük. Ya da bizim ürünümüzü kullanarak bunu çok verimli bir şekilde gerçekleştirebilirler.”