ChipNemo (10)는 도메인 적응 언어 모델을 사용하여 RAG의 도메인 특정 질문에 대한 성능을 향상시키는 증거를 제시합니다. 그들은 3,000개의 도메인 특정 자동 생성 샘플로 e5-small-unsupervised 모델을 미세 조정했습니다. 우리는 Scout Bot에서 e5-large 임베딩 모델을 미세 조정하려고 시도했습니다. 우리의 결과는 유의미한 개선을 보여주지 않았습니다. 우리는 현재 실험을 반복하기 위해 고품질의 인간 주석 데이터를 수집하고 있습니다. 이는 우리의 작업에 있어 미래에 탐구할 중요한 방향이 될 수 있습니다. 또 다른 흥미로운 기술은 Setty et. al. (15)에 의해 제시된 Hypothetical Document Embeddings (HYDE) 기법을 사용하여 RAG 성능을 향상시키는 방법입니다. HyDE는 쿼리에 응답할 때 이론적 문서를 생성하기 위해 LLM을 사용한 후 원래 질문과 가설적 답변 모두와 유사성 검색을 수행합니다. 이는 유망한 접근 방식이지만 아키텍처를 복잡하게 만들 수 있습니다.
