Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/47/fr: Difference between revisions

Latest revision as of 07:25, 20 February 2025

Information about message (contribute)

This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.

Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots)

'''LLM Gateway''': If you must use a vendor LLM API, it is better to implement an internal company LLM Gateway for audit, subscription and cost management across the company. Implementing an internal company LLM Gateway can streamline LLM usage, subscriptions, and data tracking for security audits. This central hub simplifies management and ensures efficient resource allocation. At NVIDIA IT, we have implemented an LLM Gateway that logs the inbound and outbound payloads for audit purposes and this data is guarded with access control permissions. Our LLM Gateway helps manage the subscriptions and costs of LLM API invocations.

LLM Gateway: Si vous devez utiliser une API LLM de fournisseur, il est préférable de mettre en place une passerelle LLM interne à l'entreprise pour la gestion des audits, des abonnements et des coûts à travers l'entreprise. La mise en place d'une passerelle LLM interne à l'entreprise peut rationaliser l'utilisation des LLM, les abonnements et le suivi des données pour les audits de sécurité. Ce hub central simplifie la gestion et assure une allocation efficace des ressources. Chez NVIDIA IT, nous avons mis en place une passerelle LLM qui enregistre les charges utiles entrantes et sortantes à des fins d'audit, et ces données sont protégées par des autorisations de contrôle d'accès. Notre passerelle LLM aide à gérer les abonnements et les coûts des appels d'API LLM.