Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/47/pt

LLM Gateway: Se você precisar usar uma API de LLM de fornecedor, é melhor implementar um LLM Gateway interno da empresa para auditoria, assinatura e gerenciamento de custos em toda a empresa. Implementar um LLM Gateway interno da empresa pode simplificar o uso de LLM, assinaturas e rastreamento de dados para auditorias de segurança. Este hub central simplifica a gestão e garante uma alocação eficiente de recursos. Na NVIDIA IT, implementamos um LLM Gateway que registra as cargas de entrada e saída para fins de auditoria e esses dados são protegidos com permissões de controle de acesso. Nosso LLM Gateway ajuda a gerenciar as assinaturas e os custos das invocações da API de LLM.