RAGAs Task

RAGAs Task

Datumo에서는 RAGAs 기반 평가 기능을 제공하여, 생성된 응답과 검색된 문맥을
RAGAs metric으로 자동 평가하고 수치화할 수 있습니다.

전체 흐름은 일반적인 Evaluation Task와 유사하지만, 세부적인 수동 편집(Manual Edit) 기능은 제한적입니다.

1. RAGAs Task 생성 (Create a RAGAs Task)
2. Eval Set 생성 및 실행 (Run Eval Set)
3. 평가 결과 확인 (Check Results)
4. (고급) Beir Leaderboard 뷰에서 결과 확인

📄️ 1. Create a RAGAs Task

새로운 RAGAs Task를 생성합니다.

📄️ 2. Run Eval Set

RAGAs Eval Set을 생성하고 평가를 시작합니다.

📄️ 3. Check Results

Dashboard와 Table View로 평가 결과를 확인합니다.

📄️ + Beir Leaderboard

Judge 평가와 함께 BEIR 벤치마크 평가를 수행하고 결과를 리더보드에서 확인합니다.