Evaluation Task

📊 Basic Evaluation Flow

Evaluation Task는 Datumo Eval에서 가장 기본이 되는 평가 워크플로우입니다.
Judge 평가 모델을 활용해 Target 모델의 응답을 비교·평가하며, Dataset 기반으로 모델 성능을 수치화할 수 있습니다.

전체 Flow는 다음과 같습니다:

1. Task 생성 (Create an Evaluation Task)
2. Eval Set 생성 및 평가 실행 (Run Eval Set)
3. 평가 결과 확인 (Check Results)
4. (Advanced) Task 평가 관리, 평가 결과 수정, BEIR Leaderboard 뷰 확인

📄️ 1. Create an Eval.Task

신규 evaluation Task를 생성합니다.

📄️ 2. Run Eval Set

Eval Set을 생성해 조건을 설정하고 평가를 실행합니다.

📄️ 3. Check Results

Dashboard와 Table View로 평가 결과를 확인합니다.

📄️ + Beir Leaderboard

Judge 평가와 함께 BEIR 벤치마크 평가를 수행하고 결과를 리더보드에서 확인합니다.

📄️ + Eval Task Management

Task 단위로 관리합니다. llm평가 진행 중 평가를 중지·재시작하거나 이름 및 설명을 수정 할 수 있습니다.

📄️ + Edit results manually

평가 결과를 수정할 수 있습니다.

📄️ + Batch Scheduling

Judgement Evaluation을 자동으로 예약 실행할 수 있는 기능입니다.