Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/4/ja
生成AIを活用したエンタープライズチャットボットは、業界におけるこの技術の最初の応用として急速に注目を集めており、従業員の生産性向上を目指しています。生成強化型生成(RAG)、大規模言語モデル(LLM)、Langchain/LlamaindexタイプのLLMオーケストレーションフレームワークは、生成AIベースのチャットボットを構築するための主要な技術要素として機能します。しかし、成功するエンタープライズチャットボットを構築することは容易ではありません。これには、RAGパイプラインの綿密な設計が必要です。具体的には、セマンティック埋め込みとLLMの微調整、ベクターデータベースからの関連文書の抽出、クエリの言い換え、結果の再ランキング、効果的なプロンプトの設計、文書アクセス制御の遵守、簡潔な応答の提供、関連する参照の含有、個人情報の保護、これらすべての活動を調整するエージェントの構築が含まれます。本論文では、NVIDIAでの3つのチャットボット(ITおよびHRの福利厚生、企業の財務収益、一般的な企業コンテンツ)の構築経験に基づいた効果的なRAGベースのチャットボット構築フレームワークを紹介します。本論文の貢献は三つあります。第一に、RAGベースのチャットボットが直面する課題に対処するためのエンタープライズグレードのRAGベースチャットボット構築のためのFACTSフレームワークを紹介します。FACTSの頭文字は、RAGベースのチャットボットが正しく行うべき5つの次元、すなわちコンテンツの新鮮さ(F)、アーキテクチャ(A)、LLMのコスト経済性(C)、テスト(T)、セキュリティ(S)を指します。第二に、RAGパイプラインの15の制御ポイントと各段階でのチャットボットの性能を最適化するための技術を紹介します。最後に、大規模LLMと小規模LLMの間の精度と遅延のトレードオフに関する企業データからの実証結果を提示します。私たちの知る限り、これは安全なエンタープライズグレードのチャットボットを構築するための要因と解決策を包括的に示した初めての論文です。