Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/47/de

LLM Gateway: Wenn Sie eine Anbieter-LLM-API verwenden müssen, ist es besser, ein internes Unternehmens-LLM-Gateway für Audits, Abonnements und Kostenmanagement im gesamten Unternehmen zu implementieren. Die Implementierung eines internen Unternehmens-LLM-Gateways kann die Nutzung von LLM, Abonnements und die Datenverfolgung für Sicherheitsaudits optimieren. Dieses zentrale Hub vereinfacht das Management und sorgt für eine effiziente Ressourcenzuweisung. Bei NVIDIA IT haben wir ein LLM-Gateway implementiert, das die eingehenden und ausgehenden Nutzlasten zu Prüfzwecken protokolliert, und diese Daten werden mit Zugriffsberechtigungen geschützt. Unser LLM-Gateway hilft bei der Verwaltung der Abonnements und Kosten von LLM-API-Aufrufen.