OpenAI tarafından yayınlanan yeni bir araştırma, büyük dil modellerinin (örneğin GPT-5) ve sohbet botlarının (örneğin ChatGPT) neden halüsinasyonlar yaşadığını ve bu durumun nasıl azaltılabileceğini sorguluyor.
Araştırma, halüsinasyonları, “dil modelleri tarafından üretilen, makul ancak yanlış ifadeler” olarak tanımlarken, bu sorunların büyük dil modelleri için “temel bir zorluk” olduğunu kabul ediyor. Bu zorluğun tamamen ortadan kaldırılmasının mümkün olmadığını vurguluyor.
Örneğin, araştırmacılar, “yaygın bir şekilde kullanılan bir sohbet botuna” Adam Tauman Kalai’nin doktora tezinin başlığını sorduklarında üç farklı ve yanlış yanıt aldıklarını belirtiyor. Aynı şekilde, Kalai’nin doğum tarihini sorduklarında da üç yanlış tarih ile karşılaştılar.
Bir sohbet botu nasıl bu kadar yanlış ve bununla birlikte bu kadar kendinden emin olabilir? Araştırmacılar, halüsinasyonların, kısmen, modellerin doğru kelime tahminine odaklanan bir ön eğitim sürecinden kaynaklandığını öne sürüyor. Bu süreçte, eğitim ifadelerine gerçek veya yanlış etiketler eklenmediği için modelin yalnızca akıcı dilin olumlu örneklerini gördüğünü ve genel dağılımı tahmin etmeye çalıştığını vurguluyorlar.
Araştırmacılar, “Harflerin ve parantezlerin belirli kalıplara uyduğu için, bu alanlardaki hatalar ölçekle kaybolur.” diyor. Ancak, bir evcil hayvanın doğum tarihi gibi düşük frekanslı rastgele gerçekler, yalnızca kalıplardan tahmin edilemediği için halüsinasyonlara yol açıyor.
Araştırmanın önerdiği çözüm ise, başlangıçtaki ön eğitim sürecine değil, büyük dil modellerinin nasıl değerlendirildiğine odaklanıyor. Mevcut değerlendirme modellerinin halüsinasyonlara neden olmadığını, ancak “yanlış teşvikler oluşturduğunu” savunuyor.
Araştırmacılar, bu değerlendirmeleri, rastgele tahmin yapmanın anlamlı olduğu çoktan seçmeli testlerle kıyaslıyor. Bu tür testlerde “şans eseri doğru yanıt alabileceğiniz” ve boş bırakmanın “sıfır garanti edeceğini” belirtiyorlar.
“Aynı şekilde, eğer modeller sadece doğrulukla değerlendirilirse, doğru yanıt oranları arttıkça, ‘bilmiyorum’ demek yerine tahmin yapmaya teşvik edilirler.” diyorlar.
Önerilen çözüm, yanlış yanıtlar için negatif puanlama veya soruları boş bırakmanın kısmi kredi almasına izin veren testlere benziyor. Bu yaklaşım, model değerlendirmelerinin “kendinden emin hataları, belirsizlikten daha fazla cezalandırması ve uygun belirsizlik ifadelerine kısmi kredi vermesi gerektiğini” vurguluyor.
Araştırmacılar, “Yanlış tahminleri ödüllendiren ana puanlama sistemleri, modellerin tahmin yapmaya devam etmesine neden olur.” diyorlar.
