Adım Adım RAG
Bir dil modeli çok büyük miktarda metinden öğrenir; ama bu metin belli bir tarihte biter ve sizin belgelerinizi hiç içermez. Bir modele ekibinizin izin politikasını sorarsanız ancak tahmin yürütebilir. Bazen bilmediğini söyler. Bazen de kendinden emin ama düpedüz yanlış bir yanıt verir.
Çözüm şaşırtıcı derecede basit: Soruyu sormadan önce belgelerinizin doğru kısmını bulun ve soruyla birlikte modele verin. Buna retrieval-augmented generation, kısaca RAG denir. Önce bul, sonra üret. Bir önceki yazıdaki sayı listeleri olan embeddinglerin üzerine kuruludur. Küçük bir ekip el kitabıyla adım adım ilerleyelim.
Birinci adım: Belgeleri chunk adı verilen küçük parçalara bölmek. El kitabının tamamını her seferinde modele verebilirdik ama gerçek belgeler uzundur. Bir model aynı anda ancak belli miktarda metin okuyabilir, her fazladan kelime zaman ve para demektir ve çok fazla alakasız metin yanıtı kötüleştirebilir. Aşağıda parçaların boyutunu değiştirin.
8 cümle, 4 parça. Noktalar her cümlenin konusunu gösteriyor. Gerçek sistemler genellikle cümle sayısına göre değil uzunluğa göre böler; çoğu zaman birkaç yüz tokenlık parçalar kullanılır.
Mükemmel bir boyut yoktur. Fazla küçük parçalar anlamını kaybeder; tıpkı neyi kastettiğini söylemeden "bu" diyen bir cümle gibi. Fazla büyük parçalar ise konuları birbirine karıştırır. Örtüşme, bir parçanın kenarında kesilen fikirlere yardımcı olur; bunun bedeli de bazı metinleri iki kez saklamaktır.
İkinci adım: Doğru parçaları bulmak. Buna retrieval denir. Her parça bir kez embeddinge çevrilip saklanır; bunun için çoğu zaman vektörlere özel bir veritabanı kullanılır. Bir soru geldiğinde o da embeddinge çevrilir ve embeddingi en benzer olan parçaları seçeriz. Bir soru seçin ve kaç parça gönderileceğine karar verin.
- İzin
Yeni ekip üyeleri yılda 20 gün izin alır. İki yıl sonra bu sayı 25 güne çıkar.
gönderildi1.00 - Uzaktan çalışma
Haftada en fazla üç gün evden çalışabilirsiniz. Hangi günler ofiste olacağınızı ekip liderinize bildirin.
0.10 - Masraflar
İş seyahatlerindeki yol ve yemek fişlerini saklayın. Fişleri 30 gün içinde finans ekibine gönderin.
0.05 - Bilgisayar
Herkese ilk gününde bir dizüstü bilgisayar verilir. Ücretini şirket öder; ayrılırken bilgisayarı geri verirsiniz.
0.02
Örnek vektörler, elle seçildi. Burada her parça el kitabının bir bölümü.
Köpekle ilgili soruya dikkat edin. El kitabında köpeklerden hiç söz edilmiyor ama retrieval yine de en yakın parçaları döndürüyor. Bunu her zaman yapar. Retrieval doğru yanıtı değil, en benzer metni bulur; bu yüzden son adımın, yanıtın bulunmadığı durumla da başa çıkması gerekir.
Üçüncü adım: prompt'u, yani modele giden metnin tamamını oluşturmak. İçinde kısa bir talimat, bulduğumuz parçalar ve soru vardır. Ardından model yanıtı yazar. Model yalnızca kendi bildikleriyle yanıt vermek zorunda kalınca ne olduğunu görmek için retrieval'ı kapatın.
Soruyu yalnızca aşağıdaki bağlamı kullanarak yanıtla. Yanıt bağlamda yoksa bilmediğini söyle. Bağlam: [İzin] Yeni ekip üyeleri yılda 20 gün izin alır. İki yıl sonra bu sayı 25 güne çıkar. [Uzaktan çalışma] Haftada en fazla üç gün evden çalışabilirsiniz. Hangi günler ofiste olacağınızı ekip liderinize bildirin. Soru: Kaç gün izin hakkım var?
Yılda 20 gün izin hakkınız var. İki yıl sonra bu sayı 25'e çıkar.
El kitabıyla uyuşuyor.Örnek yanıtlar, tipik davranışı göstermek için elle yazıldı. Gerçek modeller doğru bağlamı alsalar bile talimatlara her zaman uymaz.
Doğru parçalarla model, tahmin yürütmek yerine el kitabına dayanarak yanıt verebilir. "Bilmiyorum" deme talimatı da önemlidir: Parçalar yanıtı içermediğinde modele bir çıkış yolu verir. Retrieval olmadan modelin dayanabileceği hiçbir şey yoktur; bu yüzden kulağa doğru gelen bir yanıt uydurabilir.
RAG budur: böl, bul, sonra sor. "Belgelerinizle sohbet edin" türündeki birçok araç ve şirket asistanı bu şekilde çalışır. Yalnız şunu unutmayın: RAG uydurma yanıt olasılığını azaltır ama ortadan kaldırmaz. Retrieval doğru parçayı kaçırabilir; model de kendisine verileni yine görmezden gelebilir veya yanlış okuyabilir. İyi bir yanıt yalnızca modele değil, her adıma bağlıdır.
Bu içerik size yardımcı olduysa bana bir kahve ısmarlayabilirsiniz.
yazılım, tasarım ve yapay zeka üzerine etkileşimli yazı ve kurslardan haberdar olmak için bültene katılabilirsiniz. Ayda en fazla birkaç e-posta alırsınız.