Dataset Overview

Datasets 페이지는 Evaluation 프로젝트에서 정성/정량 평가에 활용되는 데이터를 관리하는 저장소입니다.
Dataset은 특정 평가 기준을 검증하기 위해 구성된 데이터 모음으로, Context, Query, Response 등 여러 세트로 구성됩니다.
이 중 Response Set은 실제 평가(Task) 단계에서 모델 성능 측정에 직접 사용됩니다.

서로 다른 AI 시스템(예: 모델이나 시스템 프롬프트)을 특정 기준에 따라 비교할 때 일관되게 품질을 측정하려면 동일한 Dataset을 재사용해야 합니다.

Dataset 구성 요소

Context Set - 평가 기준이 되는 참조 문서
Query Set - AI 모델에 던질 질문 모음
Response Set - Query에 대한 AI 모델 응답 결과

Dataset 활용 흐름

Context Set → Query Set → Response Set → Evaluation → 결과 분석
    ↓             ↓             ↓            ↓
  문서 준비  →  질문 생성 →  응답 생성   →  성능 측정

시작하기

Dataset은 연동형 AI 생성과 파일 업로드(Manual Upload) 두 가지 방식으로 준비할 수 있습니다.

1단계: Context Set 생성

참조할 문서를 업로드하세요.
👉 Context Set 가이드

2단계: Query Set 생성

질문을 직접 작성하거나 Context를 기반으로 자동 생성하세요.
👉 Query Set 가이드

3단계: Response Set 생성

AI 모델 응답을 수집하거나 기존 결과를 업로드하세요.
👉 Response Set 가이드

팁

Dataset을 준비하면, 원하는 평가 Task에서 불러와 활용할 수 있습니다.

주요 특징

재사용 가능: 한 번 만든 Dataset은 여러 평가 프로젝트에서 활용
버전 관리: 연결되지 않은 Query Set은 수정 가능, 변경 이력 추적 지원
유연한 구조: 평가 프레임워크에 맞는 데이터 컬럼 자동 매핑

지원 파일 형식

CSV
XLSX

⚡ 빠른 팁

Context Set(원천문서)을 먼저 준비하세요 → 질문의 기반이 됩니다.
Context 품질이 높을수록 더 좋은 Query Set을 만들 수 있습니다.
자동 생성된 Query Set은 반드시 검토하고 보완하세요.
Dataset 이름은 명확하게 지정해두면 관리가 쉽습니다.
스페셜 필드는 필요에 따라 추가 - 모든 필드를 채울 필요는 없습니다.