Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/68/de

ChipNemo (10) liefert Beweise für die Verwendung eines domänenspezifisch angepassten Sprachmodells zur Verbesserung der Leistung von RAG bei domänenspezifischen Fragen. Sie haben das e5-small-unsupervised Modell mit 3.000 domänenspezifischen, automatisch generierten Beispielen feinabgestimmt. Wir haben versucht, das e5-large Embeddings Modell in Scout Bot feinabzustimmen. Unsere Ergebnisse zeigten keine signifikanten Verbesserungen. Derzeit sammeln wir qualitativ hochwertige, von Menschen annotierte Daten, um die Experimente zu wiederholen. Dies könnte eine wichtige Richtung für unsere zukünftige Arbeit sein. Eine weitere interessante Technik wurde von Setty et. al. (15) vorgestellt, um die Leistung von RAG mit der Hypothetical Document Embeddings (HYDE) Technik zu verbessern. HyDE verwendet ein LLM, um ein theoretisches Dokument zu generieren, wenn auf eine Anfrage geantwortet wird, und führt dann die Ähnlichkeitssuche sowohl mit der ursprünglichen Frage als auch mit der hypothetischen Antwort durch. Dies ist ein vielversprechender Ansatz, könnte jedoch die Architektur komplex machen.