Translations:FACTS About Building Retrieval Augmented Generation-based Chatbots/25/ko

메타데이터 강화, 청킹, 쿼리 재구성, 쿼리 재정렬: 우리는 RAG 파이프라인의 메타데이터 강화, 청킹, 쿼리 재구성 및 쿼리 재정렬 단계가 챗봇 응답의 품질에 가장 큰 영향을 미친다는 것을 발견했습니다. LLM 응답 생성 품질은 검색 관련성에 크게 의존합니다. 검색 관련성은 다시 문서 메타데이터 강화, 청킹 및 쿼리 재구성에 크게 의존합니다. 우리는 청크 토큰 크기의 올바른 구성을 찾기 위해 그리드 검색 기반의 자동 ML 기능을 구현하고, 다양한 프롬프트 변형을 실험하며, 최적의 설정을 찾기 위해 다양한 청크 재정렬 전략을 탐구했습니다. 검색 관련성과 응답 품질 및 정확성에서 상당한 개선을 이루었지만, 전체 파이프라인을 최적화하기 위해 아직 더 많은 작업이 필요하다고 믿습니다.