Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/45/ja: Difference between revisions

Latest revision as of 07:13, 20 February 2025

Information about message (contribute)

This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.

Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots)

Understanding the cost economics of generative AI-based chatbots involves several critical factors. The high costs of major and commercial LLMs can be unsustainable, with expenses adding up significantly across multiple use cases. Additionally, unseen expenses often accumulate as teams test various LLMs to meet specific needs. Moreover, when using commercial LLM vendor APIs, securing sensitive enterprise data requires guardrails to detect and prevent sensitive data leakage, as well as gateways for audit and legally permitted learning. There are also cost versus latency trade-offs to consider, as large LLMs with long context lengths typically have slower response times, impacting overall efficiency.

生成AIベースのチャットボットのコスト経済学を理解するには、いくつかの重要な要素が関与しています。主要な商用LLMの高コストは持続不可能であり、複数のユースケースで費用が大幅に増加する可能性があります。さらに、特定のニーズを満たすためにさまざまなLLMをテストする際に、見えない費用がしばしば蓄積されます。商用LLMベンダーのAPIを使用する場合、機密企業データを保護するためには、機密データの漏洩を検出して防ぐためのガードレールや、監査および法的に許可された学習のためのゲートウェイが必要です。また、長いコンテキスト長を持つ大規模なLLMは通常応答時間が遅く、全体的な効率に影響を与えるため、コストとレイテンシーのトレードオフも考慮する必要があります。