Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/45/pt

Compreender a economia de custos dos chatbots baseados em IA generativa envolve vários fatores críticos. Os altos custos dos LLMs principais e comerciais podem ser insustentáveis, com despesas acumulando-se significativamente em vários casos de uso. Além disso, despesas não visíveis frequentemente se acumulam à medida que as equipes testam vários LLMs para atender a necessidades específicas. Ademais, ao usar APIs de fornecedores comerciais de LLM, proteger dados empresariais sensíveis requer medidas de segurança para detectar e prevenir vazamentos de dados sensíveis, bem como gateways para auditoria e aprendizado legalmente permitido. Também há compensações entre custo e latência a serem consideradas, já que LLMs grandes com longos comprimentos de contexto geralmente têm tempos de resposta mais lentos, impactando a eficiência geral.