Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/67/ja: Difference between revisions

Latest revision as of 07:13, 20 February 2025

Information about message (contribute)

This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.

Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots)

Our work can be compared with RAG papers on various topics dealing with RAG quality along all the FACTS dimensions we presented (freshness, architecture, costs, testing, and security). Due to lack of space, we contrast our work with selective works. Barnett ''et. al.'' ([[#bib.bib3|3]]) presented seven failure points when engineering RAG systems. In their work, they highlight the challenges of getting retrieval augmented generation right by presenting their findings from having built three chatbots. Wenqi Glantz ([[#bib.bib6|6]]) elaborated 12 RAG pain points and presented solutions. We experienced similar challenges first-hand when building our chatbots. However, none of these works discuss the challenges with complex queries, testing, dealing with document security, and the need for flexible architectures. In our work, we not only build on failure/pain points of RAGs as mentioned above, but also present our 15 control points in RAG pipelines and offer specific solutions for each stage. Also, we extend our insights and present practical techniques for handling complex queries, testing, and security. We present a reference architecture for one of the implementations of agentic architectures for complex query handling, strategies for testing and evaluating subjective query responses, and raised awareness for dealing with document ACLs and security. Furthermore, we present a reference architecture for a flexible generative-AI based Chatbot platform.

私たちの研究は、RAGの品質に関するさまざまなトピックについてのRAG論文と比較することができます。これには、提示したFACTSの次元（新鮮さ、アーキテクチャ、コスト、テスト、セキュリティ）に沿ったものが含まれます。スペースの制約により、選択的な研究と対比します。Barnett et. al.（3）は、RAGシステムをエンジニアリングする際の7つの失敗点を提示しました。彼らの研究では、3つのチャットボットを構築した経験から得た知見を示し、リトリーバル強化生成を正しく行うことの課題を強調しています。Wenqi Glantz（6）は、12のRAGの痛点を詳述し、解決策を提示しました。私たちもチャットボットを構築する際に同様の課題を直接経験しました。しかし、これらの研究のいずれも、複雑なクエリ、テスト、文書のセキュリティの取り扱い、柔軟なアーキテクチャの必要性に関する課題については言及していません。私たちの研究では、上記のRAGの失敗/痛点に基づくだけでなく、RAGパイプラインにおける15の制御点を提示し、各段階に対する具体的な解決策を提供します。また、複雑なクエリの処理、テスト、セキュリティに関する実用的な技術を提示します。複雑なクエリ処理のためのエージェンティックアーキテクチャの実装の1つのリファレンスアーキテクチャ、主観的なクエリ応答をテストおよび評価するための戦略、文書ACLとセキュリティの取り扱いに関する意識向上を提示します。さらに、柔軟な生成AIベースのチャットボットプラットフォームのリファレンスアーキテクチャを提示します。