Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/29/ja

LLMをファインチューニングするか否か？ 重要な決定は、基盤モデルの使用とドメイン固有のカスタマイズのバランスを取るために、LLMをファインチューニングするかどうかです。LLMに関しては、一つのサイズがすべてに適合するわけではありません。基盤モデルでうまく機能するユースケースもあれば、カスタマイズが必要なものもあります。カスタマイズを検討する際には、プロンプトエンジニアリング、Pチューニング、パラメータ効率の良いファインチューニング（PEFT）、および完全なファインチューニング（FT）など、いくつかのオプションがあります。ファインチューニングには、データラベリング、トレーニング、評価への多大な投資が必要であり、それぞれが時間とコストを要する可能性があります。LLMをカスタマイズする際には、テストと品質評価プロセスの自動化が効率と精度を確保するために重要になります。図3は、OpenAIのGPT-4モデルといくつかのオープンソースモデルをNVHelpボットドメインの約245のクエリで比較した際の精度対レイテンシーのトレードオフ評価を示しています。我々の結果は、Llama3-70Bモデルが回答の質のいくつかの側面で優れており、許容可能なレイテンシーを維持していることを示しています。