Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/47/fr

LLM Gateway: Si vous devez utiliser une API LLM de fournisseur, il est préférable de mettre en place une passerelle LLM interne à l'entreprise pour la gestion des audits, des abonnements et des coûts à travers l'entreprise. La mise en place d'une passerelle LLM interne à l'entreprise peut rationaliser l'utilisation des LLM, les abonnements et le suivi des données pour les audits de sécurité. Ce hub central simplifie la gestion et assure une allocation efficace des ressources. Chez NVIDIA IT, nous avons mis en place une passerelle LLM qui enregistre les charges utiles entrantes et sortantes à des fins d'audit, et ces données sont protégées par des autorisations de contrôle d'accès. Notre passerelle LLM aide à gérer les abonnements et les coûts des appels d'API LLM.