Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/29/de

Sollten LLMs feinabgestimmt werden oder nicht? Eine wichtige Entscheidung ist, ob LLMs feinabgestimmt werden sollen, wobei das Gleichgewicht zwischen der Nutzung von Grundmodellen und domänenspezifischen Anpassungen gewahrt werden muss. Einheitslösungen passen nicht immer, wenn es um LLMs geht. Einige Anwendungsfälle funktionieren gut mit Grundmodellen, während andere Anpassungen erfordern. Bei der Betrachtung von Anpassungen stehen mehrere Optionen zur Verfügung, darunter Prompt-Engineering, P-Tuning, parameter-effizientes Fein-Tuning (PEFT) und vollständiges Fein-Tuning (FT). Fein-Tuning erfordert erhebliche Investitionen in die Datenkennzeichnung, das Training und die Evaluierungen, die jeweils zeitaufwändig und kostspielig sein können. Die Automatisierung von Test- und Qualitätsbewertungsprozessen wird entscheidend, um Effizienz und Genauigkeit bei der Anpassung von LLMs sicherzustellen. Abbildung 3 zeigt die von uns durchgeführten Bewertungen des Kompromisses zwischen Genauigkeit und Latenzzeit, bei denen wir das GPT-4-Modell von OpenAI mit einigen der Open-Source-Modelle anhand von etwa 245 Anfragen aus dem NVHelp-Bot-Bereich verglichen haben. Unsere Ergebnisse zeigen, dass das Llama3-70B-Modell in mehreren Aspekten der Antwortqualität herausragt, während es eine akzeptable Latenz beibehält.