Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/47/zh

LLM 网关: 如果您必须使用供应商的 LLM API，最好在公司内部实施一个 LLM 网关，以便在整个公司进行审计、订阅和成本管理。实施内部公司 LLM 网关可以简化 LLM 的使用、订阅和数据跟踪，以便进行安全审计。这个中央枢纽简化了管理，并确保了资源的高效分配。在 NVIDIA IT，我们实施了一个 LLM 网关，用于记录入站和出站的负载以进行审计，并通过访问控制权限保护这些数据。我们的 LLM 网关有助于管理 LLM API 调用的订阅和成本。