Latest revision as of 07:19, 20 February 2025
Information about message (contribute ) This message has no documentation.
If you know where or how this message is used, you can help other translators by adding documentation to this message.
Message definition (FACTS About Building Retrieval Augmented Generation-based Chatbots ) Testing generative AI solutions can be a lengthy process due to the need for human response validation. LLMs are increasingly being employed using ‘LLM-as-a-judge’ approach. However, it is advisable to use caution when using LLMs as human proxy, as using LLMs as judges can lead to self-fulfilling prophecy type of scenarios reinforcing their inherent biases in evaluations as well.
생성 AI 솔루션을 테스트하는 것은 인간의 응답 검증이 필요하기 때문에 시간이 오래 걸릴 수 있습니다. LLM은 'LLM-as-a-judge' 접근 방식을 사용하여 점점 더 많이 사용되고 있습니다. 그러나 LLM을 인간 대리인으로 사용할 때는 주의가 필요합니다. LLM을 심판으로 사용하는 것은 평가에서 내재된 편견을 강화하는 자기 충족적 예언 시나리오로 이어질 수 있기 때문입니다.
