Evaluation Metric Setting
EvaluationMetricSetting 페이지에서는 평가 지표(Metric)를 생성하고 관리하는 방법을 안내합니다.
평가 기준을 설정하여 프로젝트별 최적화된 평가가 가능하도록 지원합니다.
- 기본 평가 방식 (Method) : 셀렉트스타에서 제공하는 고정된 평가 방식을 사용합니다. 👉 자세한 평가 방식은 Eval Concepts 페이지 참고
- 평가 매트릭 생성 : 평가 방식을 선택해 새 매트릭을 생성할 수 있으며, Rubric 항목을 자유롭게 추가/삭제할 수 있습니다.
- Rubric 편집 가능 범위 : Rubric 항목 구성(추가/삭제)은 매트릭 생성 시점에만 설정할 수 있습니다.
- 매트릭 활용 : 생성된 매트릭은 삭제할 수 있으며, 삭제된 매트릭은 복구할 수 없습니다.
- 매트릭 삭제 :
생성한 매트릭은 삭제 가능 (삭제 시 복구 불가)
※ 기존 프로젝트의 평가 결과에는 영향 없습니다.
Step-by-step
① 매트릭 생성을 위한 페이지 접속
좌측 내비게이션 바에서 [Evaluation Metric Setting] 페이지를 선택합니다.
이 페이지에서 매트릭 생성 및 관리 작업을 시작할 수 있습니다.
② 신규 지표 생성
우측 상단의 [+ New Metric] 버튼을 클릭하면
기본으로 제공되는 평가 방식을 선택할 수 있는 모달이 열립니다.
③ Method 선택 및 확인
프로젝트 목적에 가장 부합하는 평가 방식(Method)을 선택합니다.
선택한 지표의 Rubric을 기반으로, 평가 항목의 설명과 점수 기준 등을 설정해 새로운 매트릭을 작성하세요.
ⓘ각 평가 방법론을 자세히 알고 싶다면 해당 페이지를 참고해주세요.
④ Rubric 설정
선택한 매트릭의 Rubric을 평가 목적에 맞게 설정합니다.
평가 항목의 추가/제거가 가능하며, 각 항목의 설명, 점수 체계, 평가 기준 등을 자유롭게 편집할 수 있습니다.
또한 매트릭 이름과 카테고리도 함께 설정해 주세요.
⑤ 평가 미리보기 (Evaluation Preview)
작성한 Rubric의 타당성을 검토하기 위해 미리보기 기능을 활용합니다.
Query, Response, Context(Optional)를 입력하고 평가에 사용할 Judge Model을 선택한 뒤
[Run Test] 버튼을 눌러 테스트 결과를 확인합니다.
⑥ 저장 및 활용
Rubric 수정과 미리보기를 완료한 후 [Save] 버튼을 클릭하여 매트릭을 저장합니다.
저장된 맞춤형 매트릭은 Evaluation Metric Setting 리스트에서 'Create' 상태로 표시되며,
향후 Basic Evaluation 프로젝트에서 평가 시 선택하여 활용할 수 있습니다.
기타 관리 기능
🗑 매트릭 관리 및 삭제
생성한 매트릭은 매트릭 관리 페이지와 프로젝트 생성 화면에서 확인하고 사용할 수 있습니다.
삭제는 리스트에서 해당 지표를 선택한 뒤, 좌측 하단의 [삭제] 버튼으로 수행합니다.
※ 삭제된 매트릭은 복구할 수 없으므로 주의가 필요합니다.
매트릭 설정이 완료되었습니다.
이제 모델 설정 단계로 이동하여 프로젝트 평가 구성을 시작해보세요.