Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/45/pt: Difference between revisions

Latest revision as of 07:30, 20 February 2025

Information about message (contribute)

This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.

Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots)

Understanding the cost economics of generative AI-based chatbots involves several critical factors. The high costs of major and commercial LLMs can be unsustainable, with expenses adding up significantly across multiple use cases. Additionally, unseen expenses often accumulate as teams test various LLMs to meet specific needs. Moreover, when using commercial LLM vendor APIs, securing sensitive enterprise data requires guardrails to detect and prevent sensitive data leakage, as well as gateways for audit and legally permitted learning. There are also cost versus latency trade-offs to consider, as large LLMs with long context lengths typically have slower response times, impacting overall efficiency.

Compreender a economia de custos dos chatbots baseados em IA generativa envolve vários fatores críticos. Os altos custos dos LLMs principais e comerciais podem ser insustentáveis, com despesas acumulando-se significativamente em vários casos de uso. Além disso, despesas não visíveis frequentemente se acumulam à medida que as equipes testam vários LLMs para atender a necessidades específicas. Ademais, ao usar APIs de fornecedores comerciais de LLM, proteger dados empresariais sensíveis requer medidas de segurança para detectar e prevenir vazamentos de dados sensíveis, bem como gateways para auditoria e aprendizado legalmente permitido. Também há compensações entre custo e latência a serem consideradas, já que LLMs grandes com longos comprimentos de contexto geralmente têm tempos de resposta mais lentos, impactando a eficiência geral.