Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/47/de: Difference between revisions

Latest revision as of 07:23, 20 February 2025

Information about message (contribute)

This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.

Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots)

'''LLM Gateway''': If you must use a vendor LLM API, it is better to implement an internal company LLM Gateway for audit, subscription and cost management across the company. Implementing an internal company LLM Gateway can streamline LLM usage, subscriptions, and data tracking for security audits. This central hub simplifies management and ensures efficient resource allocation. At NVIDIA IT, we have implemented an LLM Gateway that logs the inbound and outbound payloads for audit purposes and this data is guarded with access control permissions. Our LLM Gateway helps manage the subscriptions and costs of LLM API invocations.

LLM Gateway: Wenn Sie eine Anbieter-LLM-API verwenden müssen, ist es besser, ein internes Unternehmens-LLM-Gateway für Audits, Abonnements und Kostenmanagement im gesamten Unternehmen zu implementieren. Die Implementierung eines internen Unternehmens-LLM-Gateways kann die Nutzung von LLM, Abonnements und die Datenverfolgung für Sicherheitsaudits optimieren. Dieses zentrale Hub vereinfacht das Management und sorgt für eine effiziente Ressourcenzuweisung. Bei NVIDIA IT haben wir ein LLM-Gateway implementiert, das die eingehenden und ausgehenden Nutzlasten zu Prüfzwecken protokolliert, und diese Daten werden mit Zugriffsberechtigungen geschützt. Unser LLM-Gateway hilft bei der Verwaltung der Abonnements und Kosten von LLM-API-Aufrufen.