Retrieval-Augmented Generation

Genel Bakış

Retrieval- artırılmış nesil, metin nesli ile bilgi geri birleştirir, böylece bir cevap, bir modelin sabit eğitim verileri dışında belgeler üzerinde çizebilir. Yaklaşım, bilgi değişiklikleri sıklıkla değiştiğinde, özel bir koleksiyona ait veya izlenebilir kanıtlar gerektirir. Retrieval gerçek bir zemini artırabilir, ancak her oluşturulan ifadeyi otomatik olarak doğru yapmaz.

Teknik temeller

Sparse retrieval puanları tam dönem maçları, yoğun retrieval haritaları sorgular ve benzerliği yakalamak paraphrase ile vektörlere geçişler yapılır. Hibrit sistemler hem sinyalleri birleştirir ve daha pahalı bir haçlı adaylar tekrar döndürür. Pasaj sınırları kanıtların tutarlı olup bağlam bütçesine uymadığını belirler. Nesil sonra, alınan metin üzerinde bir cevap koşullu tahmin eder, ancak bir pasaja dikkat etmek entailment'in bir kanıtı değildir. Bazı sistemler, sorularını kabul eder ve orta iddialarda kanıtlayıcı olarak korur.

Nasıl çalışır

Belgeler toplanıyor, pasajlara bölünüyor ve lexical indexler, vektör gömüyor veya her ikisi de temsil ediliyor. Bir kullanıcı, seçilen pasajlar jenerasyona girmeden önce tekrarlanan adaylar alır. Jeneratör bu kanıtları kullanarak cevap vermek ve alıntılar eklemek için talimatları takip eder. Daha gelişmiş sistemler yeniden yazma sorguları, yapılandırılmış veritabanı ve araçları için birkaç geri dönüş adım veya rota soruları gerçekleştirin.

Ölçme ve Araştırma Yöntemleri

Değerlendirme, ilgili pasajlarla eşleştirilmiş ve desteklenen cevaplarla başlar. Retrieval, gerekli tüm kanıtların sıralama önlemleri ve kapsamını hatırlamakta fayda sağlar. Nesil doğruluk iddia edilir, entailment, alıntı hassasiyet, tamlık ve kalibre edilmiş abstention. Adversarial testleri, eski, tekrarlanan, zehirli veya izin verilen belgeleri tanıttı. Üretim izleme kayıtları indeks sürümü, geri dönüş sonuçları ve mahremiyete saygı duyanlar için. Latency ve maliyet ingestion, gömülme, arama, reranking ve nesil sadece son çağrıdan ziyade ölçülür.

Anahtar fikirler

• Retrieval hatırla, jeneratörün bir cevap için gerekli kanıtları görebildikleri konusunda üst bir sınır oluşturur.
• Bahsedilen bir geçiş, aslında bir sonraki davayı desteklemeden ilgili olabilir.
• Chunking, metadata, erişim kontrolü ve tazelik, preişe ayrıntıları yerine temel sistem tasarım seçenekleridir.

Mevcut araştırma sınırları

Araştırma masalar, görüntüler, bilgi grafikler ve bilimsel veriler üzerinde tekrar beval keşfeder, arama ve hesaplama arasında seçen ajanlar ile birlikte. Uzun metin modelleri azaltılabilir ancak geri dönüş ihtiyaçlarını ortadan kaldırmayın çünkü seçim, tazelik ve izinler değerli kalır. Üretim doğrulama ve belirsizlik için yöntemler, nesillerden sonra desteklenmeyen cümleleri reddetmeye çalışır. Açık zorluklar, kullanıcı geri bildirimlerinden, dolaylı olarak enjeksiyona karşı savunmak ve test setinde donmuş olmaktan ziyade zaman içinde kanıtların nerede değiştiğini karşılaştırmak.

Neden önemli?

RAG, kurumsal arama, bilimsel asistanlar, müşteri desteği ve düzenleme koleksiyonlarına cevap verme soruları destekliyor. Tüm bir modeli yeniden eğitmeden kaynak güncellemelerine izin verir ve her yanıt için kullanılan kanıtlarla inceleme sağlayabilir.

Limitler ve açık sorular

Zavallı retrieval, stale indeksleri ve çelişkili kaynaklar hala akıcı hatalar üretebilir. Satın alınan belgelerin gizlenmiş prompt enjeksiyonu jeneratörü yönlendirebilir ve özel pasajlar son derece izin kontrolleri olmadan sızıntıya girebilir. Değerlendirme, retrieval'yi ayrı bir şekilde ölçmeli, iddia desteği, alıntı doğruluk, abstention ve latency'yi öznel cevap kalitesine güvenmek yerine yalnız.