· Yapay Zekâ · 7 dk okuma
RAG Sistemlerini Ölçmek: Doğru Yanıt Yetmez
Bir RAG sisteminin kalitesi yalnızca son yanıta bakılarak anlaşılamaz; getirme ve üretim adımları ayrı ayrı ölçülmelidir.
İki aşama, iki ölçüm
Getirme aşamasında doğru dokümanlar bulundu mu (isabet ve kapsama)? Üretim aşamasında yanıt bu dokümanlara sadık mı ve soruyu karşılıyor mu? İki aşamayı birlikte ölçmek, sorunun nerede olduğunu gizler.
Parçalama ve meta veri
Doküman parçalarının boyutu ve sınırları getirme kalitesini doğrudan etkiler. Başlık, bölüm ve tarih gibi meta verileri parçalara eklemek filtrelemeyi ve sıralamayı belirgin şekilde iyileştirir.
Sürekli değerlendirme
Gerçek kullanıcı sorularından oluşan bir test seti oluşturun ve her değişiklikte otomatik olarak çalıştırın. Kullanıcı geri bildirimlerini bu sete düzenli olarak ekleyin.