Cohere’nin Eski AI Araştırma Lideri, Ölçekleme Yarışına Karşı Bahis Oynuyor
AI laboratuvarları, Manhattan kadar büyük veri merkezleri inşa etmek için yarışıyor. Bu merkezlerin her biri milyarlarca dolara mal oluyor ve küçük bir şehrin harcadığı enerjiye eşit enerji tüketiyor. Bu çabanın arkasında, mevcut AI eğitim yöntemlerine daha fazla hesaplama gücü eklemenin, bir gün her türlü görevi yerine getirebilen süper zeki sistemler ortaya çıkaracağına dair derin bir inanç yatıyor.
Ancak, giderek artan bir grup AI araştırmacısı, büyük dil modellerinin ölçeklenmesinin sınırlarına ulaşabileceğini ve AI performansını artırmak için başka atılımların gerektiğini savunuyor.
Cohere’nin eski AI Araştırma Başkan Yardımcısı ve Google Brain mezunu olan Sara Hooker, yeni girişimi Adaption Labs ile bu riskin altına giriyor. Hooker, Cohere ve Google’dan tanıdığı Sudip Roy ile birlikte kurduğu bu şirketin, LLM’leri ölçeklendirmenin artık AI modellerinden daha fazla performans elde etmenin verimsiz bir yolu haline geldiği fikrine dayandığını belirtiyor. Hooker, Ağustos’ta Cohere’den ayrıldıklarını ve bu ay girişimi duyurduklarını ve daha geniş bir ekip oluşturmak için işe alım sürecine başladıklarını açıkladı.
TechCrunch ile yaptığı bir röportajda, Hooker, Adaption Labs’ın gerçek dünya deneyimlerinden sürekli olarak uyum sağlayan ve öğrenen AI sistemleri inşa ettiğini ifade etti. Ancak bu yöntemlerin arkasındaki detayları paylaşmayı reddetti.
Hooker, “Artık çok açık bir dönüm noktasındayız; sadece bu modelleri ölçeklendirerek elde edilen formül, dünyayı anlamak ya da etkileşimde bulunmak için gerekli zekayı üretmiyor,” dedi.
Hooker’a göre, uyum sağlamak öğrenmenin kalbidir. Örneğin, yemek masanızın yanından geçerken parmağınızı çarptığınızda, bir dahaki sefere daha dikkatli yürümeyi öğrenirsiniz. AI laboratuvarları, bu fikri pekiştirmek için güçlendirme öğrenimi (RL) yöntemlerini denemiştir. Ancak mevcut RL yöntemleri, AI modellerinin gerçek zamanlı olarak hatalarından öğrenmesine yardımcı olmuyor; bu modeller yalnızca hatalarını tekrarlamaya devam ediyor.
Bazı AI laboratuvarları, işletmelere özel ihtiyaçlarına göre AI modellerini ince ayar yapmak için danışmanlık hizmetleri sunuyor, ancak bu yüksek maliyetli bir süreç. OpenAI’nin, danışmanlık hizmetleri için müşterilerinden 10 milyon dolardan fazla harcama talep ettiği bildirildi.
Hooker, “Bir dizi öncü laboratuvar, aynı şekilde sunulan AI modellerini belirliyor ve bu modellerin uyarlanması oldukça pahalı. Ama bunun böyle olmasına gerek olmadığını düşünüyorum; AI sistemleri çevrelerinden çok verimli bir şekilde öğrenebilir. Bunu kanıtlamak, AI’yi şekillendirenlerin kim olduğunu ve nihayetinde bu modellerin kime hizmet ettiğini tamamen değiştirecektir,” dedi.
Adaption Labs, sektördeki ölçeklenme inancının sarsıldığının bir başka göstergesi. MIT araştırmacılarının yayınladığı bir çalışma, dünyanın en büyük AI modellerinin düşen getiriler gösterebileceğini ortaya koydu. San Francisco’daki hava da değişiyor gibi görünüyor; AI dünyasının önde gelen podcast sunucusu Dwarkesh Patel, ünlü AI araştırmacılarıyla alışılmadık derecede şüpheci konuşmalar gerçekleştirdi.
Eğer Hooker ve Adaption Labs, ölçeklemenin sınırlamaları hakkında haklıysa, bu durumun sonuçları büyük olabilir. Milyarlarca dolar, daha büyük modellerin genel zeka getireceği varsayımıyla ölçeklenmeye yatırıldı. Ancak, gerçek uyumlu öğrenmenin yalnızca daha güçlü değil, aynı zamanda çok daha verimli olabileceği ihtimali de söz konusu.
