LLM’ler Sonraki Kelimeyi Nasıl Seçer?

Bir yapay zekâyla sohbet ederken yanıt genellikle biri yazıyormuş gibi parça parça görünür. Bunun arkasındaki süreç, göründüğünden daha basittir. Büyük dil modeli, yani LLM, küçük bir işlemi tekrar tekrar yapar: o ana kadarki metne bakar ve sırada ne gelebileceğini tahmin eder. Bu yazıda bu tahminin nasıl yapıldığını göreceğiz.

Öncelikle modeller harfleri veya tam kelimeleri okumaz. tokenları okurlar. Token, küçük bir metin parçasıdır. Çoğu zaman önündeki boşlukla birlikte kısa bir kelime, bazen uzun bir kelimenin parçası, bazen de tek bir semboldür. Metnin nasıl ayrıldığını görmek için aşağıya bir şeyler yazın.

Yaygın İngilizce kelimeler genellikle tek bir tokena karşılık gelir. Uzun veya nadir kelimeler parçalara, sayılar küçük rakam gruplarına ayrılır; birçok emoji de birden fazla token gerektirir. Bu örnekte Türkçe cümle, İngilizce cümleden daha fazla token kullanır. Farklı tokenizerlar aynı metni farklı böler; bu yüzden sayılar dillere ve modellere göre değişir. Bu önemlidir, çünkü bir model aynı anda sınırlı sayıda token okuyabilir ve birçok yapay zekâ hizmeti token başına ücret alır.

Şimdi asıl fikre gelelim. Model her adımda bildiği her tokena bir olasılık verir. Tek bir yanıt yerine, her biri bir yüzdeyle ifade edilen olasılıklar listesi oluşturur. Aşağıdan bir cümle seçip en olası sonraki tokenlara bakın.

Fransa örneğinde bir token neredeyse tüm olasılığı alır. Yemek örneğinde ise olasılıklar daha dağınıktır. Gerçek bir model, eğitim metinlerinden örüntüler öğrenir ve mevcut metni kullanarak sırada ne geleceğini tahmin eder. Modelin kendisi bilgi aramaz; ancak bir sohbet botu bilgi aramak için araçlar da kullanabilir.

Model her zaman en olası tokenı seçseydi, aynı soruya neredeyse hep aynı yanıtı verirdi ve metinleri çoğu zaman tekdüze ve tekrarlı olurdu. Bu yüzden birçok uygulama, olasılıklara göre rastgele bir token seçmesine izin verir. temperature adlı ayar, bu seçimin ne kadar cesur olacağını belirler. Düşük temperature olası tokenları daha da olası hale getirir. Yüksek temperature ise dağılımı düzleştirir; böylece alışılmadık tokenlar daha sık seçilir. Kaydırıcıyı hareket ettirip birkaç kez örnekleyin.

Aynı sorunun her seferinde farklı bir yanıt alabilmesinin nedeni budur. Düşük temperature seçimleri daha az rastgele hale getirir; yüksek temperature daha fazla çeşitlilik sağlar. Ancak rastgeleliğin azalması, kodun doğru olacağını veya bilgilerin gerçek olacağını garanti etmez.

Rastgele seçimin küçük bir riski vardır. Çok düşük olasılıklı tokenlar da ara sıra seçilebilir ve tek bir tuhaf token, cümleyi bambaşka bir yöne götürebilir. Yaygın iki ayar, listenin düşük olasılıklı ucunu keser. Top-k yalnızca en olası k tokenı tutar. Top-p ise toplam olasılığı en az p değerine ulaşan, en olası tokenlardan oluşan en küçük kümeyi tutar.

Top-p duruma uyum sağlar. Modelin emin olduğu durumlarda bir veya iki token yeterlidir. Emin olmadığında ise daha fazla token seçenekler arasında kalır. Birçok yapay zekâ aracı temperature, top-k ve top-p ayarlarını değiştirmenize; bazıları da birkaçını aynı anda kullanmanıza izin verir.

Şimdi hepsini birleştirelim. Tam bir yanıt yazmak için model aynı adımları tekrarlar: mevcut metni oku, her tokena bir olasılık ver, birini seç, metne ekle ve yeniden başla. Uzun bir yanıttaki her token, birbiri ardına bu şekilde üretilir.

Bir LLM böyle yazar. Olası bir sonraki tokenı tekrar tekrar seçer. Bu süreç, en bilinen sorunlarından birini de açıklar. Modelin temel amacı gerçekleri kontrol etmek değil, metni olası bir şekilde sürdürmektir. Bir tokenın yüksek olasılığa sahip olması, yanıtın doğru olduğu anlamına gelmez. Kendinden emin ama yanlış bir yanıt da olası bir devam gibi görünebilir. Buna halüsinasyon denir.

@aykutkardas