Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/32/pt: Difference between revisions

Latest revision as of 07:30, 20 February 2025

Information about message (contribute)

This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.

Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots)

'''RAGOps''': Effective health monitoring of RAG pipelines is essential once they are deployed. When answer quality is poor, a thorough error analysis is required to determine whether the issue lies in retrieval relevancy or LLM response generation. To debug retrieval relevancy, developers need detailed information on which chunks were stored in vector databases with their associated metadata, how queries were rephrased, which chunks were retrieved, and how those chunks were ranked. Similarly, if an LLM response is incorrect, it is crucial to review the final prompt used for answer generation. For issues with citations, developers must trace back to the original document links and their corresponding chunks. RAGOps/LLMOps and evaluation frameworks, such as Ragas, are critical for providing the necessary automation to enable rapid iteration during accuracy improvement cycles in RAG pipelines.

RAGOps: O monitoramento eficaz da saúde dos pipelines RAG é essencial uma vez que eles são implantados. Quando a qualidade das respostas é baixa, uma análise de erros minuciosa é necessária para determinar se o problema está na relevância da recuperação ou na geração de respostas do LLM. Para depurar a relevância da recuperação, os desenvolvedores precisam de informações detalhadas sobre quais fragmentos foram armazenados em bancos de dados vetoriais com seus metadados associados, como as consultas foram reformuladas, quais fragmentos foram recuperados e como esses fragmentos foram classificados. Da mesma forma, se uma resposta do LLM estiver incorreta, é crucial revisar o prompt final usado para a geração da resposta. Para problemas com citações, os desenvolvedores devem rastrear os links dos documentos originais e seus fragmentos correspondentes. RAGOps/LLMOps e frameworks de avaliação, como o Ragas, são críticos para fornecer a automação necessária para permitir iterações rápidas durante os ciclos de melhoria de precisão nos pipelines RAG.