RAG nedir? Dil modelini kendi belgelerinle konuşturmak

Dil modelleri genel bilgide iyidir ama şirketinin iç dokümanlarını, ürün kılavuzunu ya da dün yazılan bir raporu bilmez. RAG (Retrieval-Augmented Generation, getirme destekli üretim) bu sorunu çözmenin en yaygın yoludur.

Nasıl çalışır?

1. Belgeleri parçala: Dokümanları birkaç paragraflık parçalara (chunk) böl.
2. Vektöre çevir: Her parçayı bir embedding modeliyle sayı dizisine (vektöre) dönüştür. Anlamca benzer metinlerin vektörleri birbirine yakın olur.
3. Sakla: Vektörleri bir vektör veritabanında veya vektör desteği olan bir veritabanında tut.
4. Soru gelince ara: Soruyu da vektöre çevir, en yakın parçaları bul.
5. Modele birlikte ver: "Aşağıdaki metinlere dayanarak cevap ver" talimatıyla bulunan parçaları ve soruyu modele gönder.

Model böylece yeniden eğitilmeden, cevap anında verilen metinlere dayanarak konuşur.

Neden ince ayar (fine-tuning) değil?

• Belgeler değiştiğinde sadece ilgili parçaları güncellersin, modeli yeniden eğitmezsin.
• Cevabın hangi belgeye dayandığını gösterebilirsin (kaynak gösterme).
• Kullanıcının yetkisi olmayan belgeleri arama aşamasında filtreleyebilirsin.

İnce ayar daha çok modelin üslubunu veya biçimini değiştirmek için uygundur, yeni bilgi öğretmek için değil.

Kaliteyi belirleyen şeyler

• Parça boyutu: Çok küçük parçalar bağlamı kaybeder, çok büyükler alakasız metni de getirir. Başlıkları ve bölüm adlarını parçaya eklemek çoğu zaman sonucu iyileştirir.
• Karma arama: Vektör araması anlamı yakalar ama ürün kodu, hata numarası gibi birebir eşleşmeleri kaçırabilir. Klasik anahtar kelime aramasıyla birleştirmek (hybrid search) daha iyi sonuç verir.
• Yeniden sıralama: İlk 20-50 sonucu daha hassas bir modelle yeniden sıralayıp en iyi birkaçını modele vermek.
• Talimat: "Metinlerde cevap yoksa bilmediğini söyle" demek uydurma cevapları ciddi ölçüde azaltır.

Sık yapılan hatalar

• Tablolu PDF'leri düz metne çevirirken satır ve sütunların karışması. Önce çıkarılan metne gözle bak.
• Bütün belgeleri tek seferde modele vermeye çalışmak: pahalıdır ve uzun bağlamın ortasındaki bilgi gözden kaçabilir.
• Değerlendirme yapmamak. 20-30 gerçek soru ve beklenen cevaptan oluşan küçük bir test seti hazırla, her değişiklikten sonra çalıştır.

Kişisel veri uyarısı

Belgeler dış bir API'ye gönderiliyorsa içlerinde kişisel veri olup olmadığına dikkat et. Gerekirse yerel çalışan bir embedding modeli ve dil modeli kullanmak ya da hassas alanları maskelemek gerekir.