Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/47/pt: Difference between revisions

Latest revision as of 07:30, 20 February 2025

Information about message (contribute)

This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.

Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots)

'''LLM Gateway''': If you must use a vendor LLM API, it is better to implement an internal company LLM Gateway for audit, subscription and cost management across the company. Implementing an internal company LLM Gateway can streamline LLM usage, subscriptions, and data tracking for security audits. This central hub simplifies management and ensures efficient resource allocation. At NVIDIA IT, we have implemented an LLM Gateway that logs the inbound and outbound payloads for audit purposes and this data is guarded with access control permissions. Our LLM Gateway helps manage the subscriptions and costs of LLM API invocations.

LLM Gateway: Se você precisar usar uma API de LLM de fornecedor, é melhor implementar um LLM Gateway interno da empresa para auditoria, assinatura e gerenciamento de custos em toda a empresa. Implementar um LLM Gateway interno da empresa pode simplificar o uso de LLM, assinaturas e rastreamento de dados para auditorias de segurança. Este hub central simplifica a gestão e garante uma alocação eficiente de recursos. Na NVIDIA IT, implementamos um LLM Gateway que registra as cargas de entrada e saída para fins de auditoria e esses dados são protegidos com permissões de controle de acesso. Nosso LLM Gateway ajuda a gerenciar as assinaturas e os custos das invocações da API de LLM.