Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/68/pt: Difference between revisions

Latest revision as of 07:30, 20 February 2025

Information about message (contribute)

This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.

Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots)

ChipNemo ([[#bib.bib10|10]]) presents evidence for using a domain adapted language model for improving RAG’s performance on domain specific questions. They finetuned the e5-small-unsupervised model with 3,000 domain specific auto-generated samples. We tried fine-tuning e5-large embeddings model in Scout Bot. Our results did not demonstrate significant improvements. We are presently collecting high quality human-annotated data to repeat the experiments. This could be an important direction to explore in the future for our work. Another interesting technique was presented by Setty ''et. al.'' ([[#bib.bib15|15]]), in improving RAG performance using Hypothetical Document Embeddings (HYDE) technique. HyDE uses an LLM to generate a theoretical document when responding to a query and then does the similarity search with both the original question and hypothetical answer. This is a promising approach but might make the architecture complex.

ChipNemo (10) apresenta evidências do uso de um modelo de linguagem adaptado ao domínio para melhorar o desempenho do RAG em perguntas específicas de domínio. Eles ajustaram o modelo e5-small-unsupervised com 3.000 amostras auto-geradas específicas de domínio. Tentamos ajustar o modelo de embeddings e5-large no Scout Bot. Nossos resultados não demonstraram melhorias significativas. Atualmente, estamos coletando dados de alta qualidade anotados por humanos para repetir os experimentos. Esta pode ser uma direção importante a explorar no futuro para o nosso trabalho. Outra técnica interessante foi apresentada por Setty et. al. (15), ao melhorar o desempenho do RAG usando a técnica de Embeddings de Documentos Hipotéticos (HyDE). HyDE usa um LLM para gerar um documento teórico ao responder a uma consulta e, em seguida, faz a busca de similaridade tanto com a pergunta original quanto com a resposta hipotética. Esta é uma abordagem promissora, mas pode tornar a arquitetura complexa.