Query Set
Query Set은 AI 모델에 제시할 테스트 질문들의 모음입니다.
다른 데이터셋과 달리 Response Set 생성 전까지 자유롭게 편집이 가능하며, 파일 업로드 또는 Context Set 기반 자동 생성으로 만들 수 있습니다.
이 페이지에서는 Query Set 생성부터 편집 관리까지 전체 과정을 안내합니다.
- 형식: CSV, XLSX
- 구조: 1행 헤더(컬럼명), 2행부터 데이터
- 필수 컬럼:
query(그 외는 메타데이터 처리)
자세한 규칙은 아래 📁 업로드 가이드를 참고하세요.
Query Set 생성 방식 안내
Query Set은 두 가지 방식으로 생성할 수 있습니다:
- 경로 A: Upload Query File Directly — 로컬 CSV/XLSX 파일을 업로드합니다. (빠르고 단순)
- 경로 B: Generate from Context Set — 등록된 Context 기반으로 AI가 Query 자동 생성
Step 1: Query Set 생성 시작
① Query Set 생성 시작
- 화면 상단 오른쪽 「+ New Query Set」 버튼 클릭
② 생성 방식 선택
- 팝업창에서 경로 A (manual 업로드) 또는 경로 B (Context 기반 AI 생성) 선택
생성 방식 A: 로컬 파일 업로드
Upload Query File Directly를 선택한 뒤, Upload Query File 모달에서 로컬 파일을 등록합니다.
① Query 파일 업로드
manual 업로드를 선택 후 Upload Query File 팝업에서:
- 형식: CSV, XLSX (Drag & Drop 또는 파일 선택)
- 샘플 파일: 다운로드 링크
- 자세한 규칙: 📁 파일 업로드 가이드
② 기본 정보 입력 및 저장
파일이 정상적으로 업로드 되었다면 기본정보를 입력할 수 있습니다. 정보 입력 후 complete버튼으로 저장은 완료하세요.
생성 방식 B: AI 질문(Query) 자동 생성
① Context Set 선택
[Context 기반 AI 생성]버튼을 선택한 뒤 팝업창에서 질문 생성 시 참조할 Context Set 선택합니다.
.
② 쿼리 생성 옵션 설정
쿼리 데이터셋 생성을 위한 옵션을 설정합니다.
step 1: Query Generation Model 선택:
- GPT-4o, Claude 3.0 등
step 2: Custom Parameters(선택사항) :
- Length: 문장 길이 조절
- Tone: Neutral, Casual, Articulate, Angry, Abstract 등
- Topic: 특정 주제 지정 (선택사항)
- User 특성: 고객센터 사용자 등 (선택사항)
- Intent: 오타/문법 오류/문맥 교란 등
.
③ Query 생성 실행
-
Generate 15 Sample Queries: 미리보기용 일부 생성
-
Generate Full Query: 전체 Context에 대해 일괄 생성
.
④ Query Set 저장
생성된 Query 확인 후:
- Query Set 이름/설명 입력
- Generate Query Set 버튼 클릭
- 저장 완료 → Response Set 생성 단계로 연결
샘플 쿼리 데이터 검수 후, 설정한 파라미터가 제대로 반영 되었다면 모든 문서에 대하여 쿼리를 생성합니다.
쿼리 생성중 실시간으로 확인 할 수 있습니다.
쿼리는 생성 중간에 생성을 중지 할 수 있습니다.
Step 2: Query Set 관리
④ Context 목록 확인
생성된 Query Set이 리스트로 표시됩니다:
- Query Set Name: 쿼리셋 이름
- Source: 업로드/Context 기반 구분
- Model: 사용된 생성 모델 (Context 기반인 경우)
- 생성 상태: 완료/진행중/에러
- Query 수: 포함된 질문 개수
- 생성일: 생성 날짜
⑤ 상세 정보 확인
생성된 리스트를 선택하여 디테일 페이지로 이동합니다. 디테일 페이지에서는 각 데이터를 행 단위로 확인 가능합니다.
특정 data 선택 시 Data Detail 패널에서 상세 내용 및 Metadata 확인할 수 있습니다.
⑥ Query Set 편집 및 수정
Query Set은 다른 데이터셋과 달리 Response Set을 생성하기 전까지 자유롭게 수정이 가능합니다:
- Editing: 개별 쿼리 내용 수정
- Remove: 불필요한 쿼리 삭제
- Restore: 삭제된 쿼리 복원
- Versioning & History: 수정 이력 확인 가능
참고 가이드
📁 업로드 가이드
1. 컬럼 요약
| 구분 | 컬럼명 | 요약 설명 |
|---|---|---|
| 기본 | query | 평가용 질문 |
context (선택) | 참고 문맥 (reference_context) | |
| 스페셜 | expected_response | 정답(Response) 컬럼 |
gold_chunk (gold_context) | 정답 검증용 문맥 | |
| 메타데이터 | (기타 컬럼) | 필수·스페셜 외 항목 |
2. 세부 설명
query: 평가에 사용할 질문 내용 (필수)context: 질문 생성 시 참고한 문맥 (=reference_context) — 평가에 직접 사용되지는 않음expected_response: 정답으로 사용할 컬럼 (ground_truth,gt,gold_answer,gold_response등과 동일한 역할)gold_chunk/gold_context: 평가 시 정답 근거로 활용되는 문맥- 기타 컬럼: 예:
difficulty,category,source→ 자동 메타데이터 처리
3. 데이터 형식 예시
| id | query | metadata1 | metadata2 | metadata... |
|---|---|---|---|---|
| 1 | 질문1 | metadata1 | metadata2 | ... |
| 2 | 질문2 | metadata1 | metadata2 | ... |
| 3 | 질문3 | metadata1 | metadata2 | ... |
CSV/XLSX 예시
| id | content | category | difficulty | domain |
|---|---|---|---|---|
| 1 | 고객센터 운영시간이 언제인가요? | hours | easy | CS |
| 2 | 환불 정책에 대해 자세히 설명해주세요. | policy | medium | Sales |
| 3 | 배송료 무료 조건을 알려주세요. | shipping | easy | Logistics |
⚠️ 주의사항
query컬럼은 반드시 포함해야 합니다.- 첫 번째 행은 컬럼명(필드명)으로 인식되므로 데이터가 아닌 헤더를 입력해야 합니다.
- 필수 컬럼 외의 모든 컬럼은 자동으로 메타데이터로 처리됩니다.
❓ 자주 묻는 질문 (FAQ)
Q. 쿼리 생성 중 에러가 발생했어요. 어떻게 처리하나요?
A. 다른 쿼리 생성이 모두 완료되면 에러가 발생한 항목만 별도로 확인할 수 있습니다. 에러 항목에 대해서는 다음 옵션 중 선택하여 처리 가능합니다:
- Delete: 해당 쿼리를 제외하고 삭제 진행
- Retry: 다시 자동 생성 시도
- Enter manually: 직접 쿼리 작성
모든 에러 케이스를 처리 완료한 후 다음 단계로 진행할 수 있습니다.