Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/67/pt: Difference between revisions

Latest revision as of 07:30, 20 February 2025

Information about message (contribute)

This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.

Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots)

Our work can be compared with RAG papers on various topics dealing with RAG quality along all the FACTS dimensions we presented (freshness, architecture, costs, testing, and security). Due to lack of space, we contrast our work with selective works. Barnett ''et. al.'' ([[#bib.bib3|3]]) presented seven failure points when engineering RAG systems. In their work, they highlight the challenges of getting retrieval augmented generation right by presenting their findings from having built three chatbots. Wenqi Glantz ([[#bib.bib6|6]]) elaborated 12 RAG pain points and presented solutions. We experienced similar challenges first-hand when building our chatbots. However, none of these works discuss the challenges with complex queries, testing, dealing with document security, and the need for flexible architectures. In our work, we not only build on failure/pain points of RAGs as mentioned above, but also present our 15 control points in RAG pipelines and offer specific solutions for each stage. Also, we extend our insights and present practical techniques for handling complex queries, testing, and security. We present a reference architecture for one of the implementations of agentic architectures for complex query handling, strategies for testing and evaluating subjective query responses, and raised awareness for dealing with document ACLs and security. Furthermore, we present a reference architecture for a flexible generative-AI based Chatbot platform.

Nosso trabalho pode ser comparado com artigos RAG sobre vários tópicos que lidam com a qualidade RAG em todas as dimensões FACTS que apresentamos (atualidade, arquitetura, custos, testes e segurança). Devido à falta de espaço, contrastamos nosso trabalho com obras seletivas. Barnett et. al. (3) apresentou sete pontos de falha ao projetar sistemas RAG. Em seu trabalho, eles destacam os desafios de acertar a geração aumentada por recuperação, apresentando suas descobertas após construir três chatbots. Wenqi Glantz (6) elaborou 12 pontos problemáticos do RAG e apresentou soluções. Experimentamos desafios semelhantes em primeira mão ao construir nossos chatbots. No entanto, nenhum desses trabalhos discute os desafios com consultas complexas, testes, lidar com a segurança de documentos e a necessidade de arquiteturas flexíveis. Em nosso trabalho, não apenas construímos sobre os pontos de falha/dor dos RAGs mencionados acima, mas também apresentamos nossos 15 pontos de controle em pipelines RAG e oferecemos soluções específicas para cada estágio. Além disso, ampliamos nossos insights e apresentamos técnicas práticas para lidar com consultas complexas, testes e segurança. Apresentamos uma arquitetura de referência para uma das implementações de arquiteturas agenticas para lidar com consultas complexas, estratégias para testar e avaliar respostas de consultas subjetivas, e aumentamos a conscientização para lidar com ACLs de documentos e segurança. Além disso, apresentamos uma arquitetura de referência para uma plataforma de Chatbot flexível baseada em IA generativa.