Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/47/zh

LLM 網關: 如果您必須使用供應商的 LLM API，最好在公司內部實施一個 LLM 網關，以便在整個公司進行審計、訂閱和成本管理。實施內部公司 LLM 網關可以簡化 LLM 的使用、訂閱和數據跟蹤，以便進行安全審計。這個中央樞紐簡化了管理，並確保了資源的高效分配。在 NVIDIA IT，我們實施了一個 LLM 網關，用於記錄入站和出站的負載以進行審計，並通過訪問控制權限保護這些數據。我們的 LLM 網關有助於管理 LLM API 調用的訂閱和成本。