Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/46/ja

大規模モデル対小規模モデル: 大規模な商用LLMと小規模なオープンソースLLMは、多くのユースケースにおいてますます実用的になり、企業にとってコスト効率の良い代替手段を提供しています。オープンソースモデルは大規模な商用モデルに追いつきつつあり、我々のNVHelpボットの実証評価で示されているように、精度がほぼ同等であることが増えています（図3）。また、一般的に大規模モデルと比較してレイテンシー性能が優れています。さらに、推論モデルのGPU最適化により処理時間をさらに短縮することができます。例えば、NVIDIAのTensor RT-LLM推論ライブラリで最適化されたオープンソースモデルは、非最適化モデルよりも高速なパフォーマンスを示しています。これらの戦略は、コスト効率の必要性と高いパフォーマンスおよびセキュリティ基準の維持を両立させるのに役立ちます。