Embedding: Anlamı Sayılara Dönüştürmek

Bir bilgisayar kedinin ne olduğunu bilmez. Anlamı kavrayamaz ama bir işte çok iyidir: sayılarla çalışmak. İşin püf noktası şu: Her kelimeyi veya cümleyi, benzer anlamlara benzer sayılar verecek şekilde bir sayı listesine çeviririz. Bu listeye embedding denir. Anlam sayıya dönüşünce "bu iki şey ne kadar benzer?" sorusu basit bir mesafe sorusuna dönüşür.

Küçük başlayalım. Aşağıda her kelime yalnızca iki sayıdan oluşuyor; bu yüzden onu bir haritada nokta olarak çizebiliyoruz. Hayvanlarla ilgili kelimeler bir bölgede, yiyecekler başka bir bölgede, taşıtlar da üçüncü bir bölgede duruyor. Bir kelimenin sayılarını ve en yakın komşularını görmek için üzerine gelin veya dokunun.

"hot dog"a bakın. İçinde "dog" (köpek) kelimesi geçiyor ama yiyeceklerin yanında duruyor; çünkü önemli olan yazılışı değil, anlamı. "Jaguar" ise hayvanlarla arabaların arasına düşüyor; çünkü hem bir hayvan hem de bir otomobil markası olabilir. Gerçek embeddingler de aynı şekilde çalışır, tek büyük farkla: Yüzlerce, hatta binlerce sayıdan oluşurlar ve bu sayılar elle seçilmez; bir model tarafından çok büyük miktarda metinden öğrenilir.

İki embeddingin birbirine ne kadar yakın olduğunu nasıl ölçeriz? Matematikte böyle bir sayı listesine vektör denir ve onu merkezden çıkan bir ok olarak çizebiliriz. İki vektörü karşılaştırmanın yaygın bir yolu, oklarının yönlerine bakmaktır. Aynı yöne bakıyorlarsa anlamlar benzerdir. Buna cosine similarity denir. -1 ile 1 arasında bir sayı verir. İki kelime seçin ve aralarındaki açıyı izleyin.

Aynı yöne bakan okların puanı 1'e yakındır. Dik açı yapan okların puanı 0'dır. Zıt yönlere bakan okların puanı ise -1'dir. Yalnız bir konuda dikkatli olun: Zıt yön, zıt anlam demek değildir. "Sıcak" ve "soğuk" gibi kelimeler genellikle birbirine yakın düşer; çünkü çok benzer cümlelerde geçerler. Bir embedding, kelimelerin nasıl kullanıldığını yakalar; aynı şeyi ifade edip etmediklerini değil.

İki sayı pek bir şeyi anlatmaya yetmez. Eklenen her sayı, şeylerin birbirinden ayrışabileceği yeni bir yön demektir. Aşağıda her kelimenin okuyabildiğimiz üç sayısı var: ne kadar hayvanla, ne kadar yiyecekle ve ne kadar taşıtla ilgili olduğu. Kaydırıcıları hareket ettirerek kendi vektörünüzü oluşturun ve hangi kelimenin en yakın olduğunu görün.

Balık hem bir hayvan hem de bir yiyecektir; bu yüzden sayıları ikisini birleştirir. Daha fazla sayıyla bir embedding, bu anlam tonlarının birçoğunu aynı anda taşıyabilir. Gerçek bir modelde her sayının ne anlama geldiğine kimse karar vermez. Model bunları öğrenir ve tek tek sayıların çoğunun "hayvan" gibi basit bir adı yoktur.

Embeddingler asıl burada işe yarar. Cümlelerin de embeddingleri olabilir. Anlama göre arama yapmak için soruyu bir embeddinge çevirir ve embeddingi en benzer olan cümleleri seçeriz. Bunu yalnızca ortak kelimelere bakan basit bir anahtar kelime araması ile karşılaştırın.

Anahtar kelime araması, aynı fikri farklı kelimelerle anlatan cümleleri kaçırır; ortak bir kelimesi olan ama anlamı farklı cümleleri de bulabilir. Anlama göre arama ise hiçbir kelime eşleşmese bile doğru cümleleri bulabilir. Bu yüzden birçok arama aracı, öneri sistemi ve yapay zeka asistanı ilgili içeriği bulmak için embeddingleri kullanır.

Bütün fikir bu. Bir embedding anlamı sayılara dönüştürür ve benzer anlamlar benzer yönlere bakar. Yalnızca buradaki "benzer" kelimesinin ne demek olduğunu unutmayın. Embeddingler, şeylerin kullanılış biçimi bakımından ne kadar benzediğini ölçer; bir şeyin doğru olup olmadığını değil. Bir cümle ile tam tersini söyleyen cümle yine de birbirine çok yakın olabilir.

@aykutkardas