Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/47/ja

LLMゲートウェイ：ベンダーのLLM APIを使用する必要がある場合、会社全体の監査、サブスクリプション、コスト管理のために、社内のLLMゲートウェイを実装する方が良いです。社内のLLMゲートウェイを実装することで、LLMの使用、サブスクリプション、データ追跡を効率化し、セキュリティ監査を容易にします。この中央ハブは管理を簡素化し、効率的なリソース配分を保証します。NVIDIA ITでは、監査目的で入出力ペイロードを記録するLLMゲートウェイを実装しており、このデータはアクセス制御権限で保護されています。私たちのLLMゲートウェイは、LLM API呼び出しのサブスクリプションとコストの管理を支援します。