Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/48/zh
總之,制定混合且平衡的LLM策略對於管理成本和推動創新至關重要。這涉及使用較小且定製化的LLM來控制開支,同時通過LLM網關進行負責任的大型LLM探索。通過跟蹤LLM訂閱和成本,以及評估生成式AI功能的使用和生產力提升,來衡量和監控投資回報率至關重要。確保在雲端使用LLM時企業敏感數據的安全,需要實施防護措施以防止數據泄漏,並建立LLM網關以進行審計和法律允許的學習。最後,要注意成本、準確性和延遲之間的權衡,通過定製較小的LLM來匹配較大模型的準確性,同時注意到具有長上下文長度的大型LLM往往響應時間較長。