Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/48/zh

    From Marovi AI

    总之,制定混合且平衡的LLM策略对于管理成本和推动创新至关重要。这涉及使用较小且定制化的LLM来控制开支,同时通过LLM网关进行负责任的大型LLM探索。通过跟踪LLM订阅和成本,以及评估生成式AI功能的使用和生产力提升,来衡量和监控投资回报率至关重要。确保在云端使用LLM时企业敏感数据的安全,需要实施防护措施以防止数据泄漏,并建立LLM网关以进行审计和法律允许的学习。最后,要注意成本、准确性和延迟之间的权衡,通过定制较小的LLM来匹配较大模型的准确性,同时注意到具有长上下文长度的大型LLM往往响应时间较长。