Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/68/de: Difference between revisions

Latest revision as of 07:23, 20 February 2025

Information about message (contribute)

This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.

Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots)

ChipNemo ([[#bib.bib10|10]]) presents evidence for using a domain adapted language model for improving RAG’s performance on domain specific questions. They finetuned the e5-small-unsupervised model with 3,000 domain specific auto-generated samples. We tried fine-tuning e5-large embeddings model in Scout Bot. Our results did not demonstrate significant improvements. We are presently collecting high quality human-annotated data to repeat the experiments. This could be an important direction to explore in the future for our work. Another interesting technique was presented by Setty ''et. al.'' ([[#bib.bib15|15]]), in improving RAG performance using Hypothetical Document Embeddings (HYDE) technique. HyDE uses an LLM to generate a theoretical document when responding to a query and then does the similarity search with both the original question and hypothetical answer. This is a promising approach but might make the architecture complex.

ChipNemo (10) liefert Beweise für die Verwendung eines domänenspezifisch angepassten Sprachmodells zur Verbesserung der Leistung von RAG bei domänenspezifischen Fragen. Sie haben das e5-small-unsupervised Modell mit 3.000 domänenspezifischen, automatisch generierten Beispielen feinabgestimmt. Wir haben versucht, das e5-large Embeddings Modell in Scout Bot feinabzustimmen. Unsere Ergebnisse zeigten keine signifikanten Verbesserungen. Derzeit sammeln wir qualitativ hochwertige, von Menschen annotierte Daten, um die Experimente zu wiederholen. Dies könnte eine wichtige Richtung für unsere zukünftige Arbeit sein. Eine weitere interessante Technik wurde von Setty et. al. (15) vorgestellt, um die Leistung von RAG mit der Hypothetical Document Embeddings (HYDE) Technik zu verbessern. HyDE verwendet ein LLM, um ein theoretisches Dokument zu generieren, wenn auf eine Anfrage geantwortet wird, und führt dann die Ähnlichkeitssuche sowohl mit der ursprünglichen Frage als auch mit der hypothetischen Antwort durch. Dies ist ein vielversprechender Ansatz, könnte jedoch die Architektur komplex machen.