Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/25/de

Metadatenanreicherung, Chunking, Abfrageumformulierung, Abfragereranking: Wir haben festgestellt, dass die Phasen der Metadatenanreicherung, des Chunkings, der Abfrageumformulierung und des Abfragererankings der RAG-Pipeline den größten Einfluss auf die Qualität der Chatbot-Antworten haben. Die Qualität der LLM-Antwortgenerierung hängt stark von der Relevanz der Abfrageergebnisse ab. Diese Relevanz ist wiederum stark von der Anreicherung der Dokumentenmetadaten, dem Chunking und der Abfrageumformulierung abhängig. Wir haben auf Grid-Search basierende Auto-ML-Funktionen implementiert, um die richtigen Konfigurationen für Chunk-Token-Größen zu finden, mit verschiedenen Prompt-Variationen experimentiert und verschiedene Chunk-Reranking-Strategien erkundet, um optimale Einstellungen für jeden Bereich zu finden. Obwohl wir erhebliche Verbesserungen in der Relevanz der Abfrageergebnisse sowie in der Qualität und Genauigkeit der Antworten erzielt haben, glauben wir, dass wir noch mehr tun müssen, um die gesamte Pipeline zu optimieren.