Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/48/pt

Em resumo, desenvolver uma estratégia de LLM híbrida e equilibrada é essencial para gerenciar custos e possibilitar a inovação. Isso envolve o uso de LLMs menores e personalizados para controlar despesas, ao mesmo tempo que permite a exploração responsável com LLMs grandes através de um Gateway de LLM. É crucial medir e monitorar o ROI, acompanhando assinaturas e custos de LLM, além de avaliar o uso de recursos de Gen-AI e melhorias de produtividade. Garantir a segurança dos dados empresariais sensíveis no uso de LLMs baseados em nuvem requer a implementação de barreiras para prevenir vazamento de dados e a construção de um Gateway de LLM para auditorias e aprendizado legalmente permitido. Finalmente, esteja ciente das compensações entre custo, precisão e latência, personalizando LLMs menores para corresponder à precisão de modelos maiores, observando que LLMs grandes com longos comprimentos de contexto tendem a ter um tempo de resposta mais longo.