Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/47/es: Difference between revisions

Latest revision as of 08:27, 19 February 2025

Information about message (contribute)

This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.

Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots)

'''LLM Gateway''': If you must use a vendor LLM API, it is better to implement an internal company LLM Gateway for audit, subscription and cost management across the company. Implementing an internal company LLM Gateway can streamline LLM usage, subscriptions, and data tracking for security audits. This central hub simplifies management and ensures efficient resource allocation. At NVIDIA IT, we have implemented an LLM Gateway that logs the inbound and outbound payloads for audit purposes and this data is guarded with access control permissions. Our LLM Gateway helps manage the subscriptions and costs of LLM API invocations.

Portal LLM: Si debe utilizar una API de LLM de un proveedor, es mejor implementar un Portal LLM interno de la empresa para la auditoría, suscripción y gestión de costos en toda la compañía. Implementar un Portal LLM interno de la empresa puede optimizar el uso de LLM, las suscripciones y el seguimiento de datos para auditorías de seguridad. Este centro centralizado simplifica la gestión y asegura una asignación eficiente de recursos. En NVIDIA IT, hemos implementado un Portal LLM que registra las cargas útiles entrantes y salientes con fines de auditoría y estos datos están protegidos con permisos de control de acceso. Nuestro Portal LLM ayuda a gestionar las suscripciones y los costos de las invocaciones de la API de LLM.