Query Set
Query Set은 AI 모델에 제시할 테스트 질문들의 모음입니다. 다른 데이터셋과 달리 Response Set 생성 전까지 자유롭게 편집이 가능하며, 파일 업로드 또는 Context Set 기반 자동 생성으로 만들 수 있습니다.
이 페이지에서는 Query Set 생성부터 편집 관리까지 전체 과정을 안내합니다.
- 형식: CSV, XLSX
- 구조: 1행 헤더(컬럼명), 2행부터 데이터
- 필수 컬럼:
query(그 외는 메타데이터 처리)
자세한 규칙은 아래 📁 업로드 가이드를 참고하세요.
3-2-1. Query 생성
- 이미 질문 데이터가 있다면 로컬 파일 업로드
- Context 기반으로 새 질문을 만들고 싶다면 AI 기반 생성을 추천합니다.
Query Set은 두 가지 방식으로 생성할 수 있습니다:
- 방식 A: 로컬 파일 업로드
- 방식 B: AI 기반 생성
이미 준비된 Query 데이터가 있는 경우, 로컬 CSV/XLSX 파일을 업로드하여 Query Set을 생성합니다.
- 사전 정의된 Query를 그대로 사용합니다.
- 대량 데이터 업로드에 적합합니다.
등록된 Context Set을 기반으로, AI가 Query를 자동으로 생성합니다.
- 기본 생성 또는 Custom Prompt 적용이 가능합니다.
- Expected Response(ER) 생성 옵션도 함께 지원합니다.
3-2-1-1. 로컬 파일 업로드 생성
① Query Set 생성 페이지 접속
우측 상단의 [+ New Query Set] 버튼을 클릭합니다.
② 생성 방식 선택
팝업창에서 **[Upload Query File Directly]**를 선택합니다.
③ 파일 업로드
[Click and browse a file or drag it here] 영역을 클릭하여 파일을 선택하거나 드래그하여 업로드합니다.
- 지원 형식: CSV, XLSX
- 샘플 파일 다운로드 가능
④ 기본 정보 입력
Query Set 이름과 설명(선택)을 입력합니다.
⑤ 저장
[Complete] 버튼을 클릭하여 저장합니다.
3-2-1-2. AI 기반 생성
Context Set을 기반으로 AI가 Query를 자동 생성합니다.
- a. 기본 생성
- b. Custom Prompt 적용 생성
- c. Expected Response(ER) 생성
기본 생성
① Query Set 생성 페이지 접속
우측 상단의 [+ New Query Set] 버튼을 클릭합니다.
② 생성 방식 선택
[Generate from Context Set] 목록에서 Context Set 선택합니다.
③ Context Set 선택
질문 생성 시 참조할 Context Set을 선택합니다.
④ Query Generation Model 선택
Query 생성에 사용할 Model/Agent를 선택합니다.
⑤ Custom Parameters 설정 (선택)
필요한 경우 Custom Parameters를 입력하여 생성 조건을 세부 설정합니다.
파라미터 상세 항목 보기
각 파라미터를 설정하면 생성되는 Query의 특성을 조절할 수 있습니다.
| 파라미터 | 설명 | 예시 |
|---|---|---|
| Length (문장 길이) | min_length, max_length를 입력하여 생성될 Query의 길이를 조절합니다 | 10-20: "환불 가능한가요?"40-60: "구매한 상품에 대해 환불을 받고 싶은데, 어떤 절차를 거쳐야 하나요?" |
| Tone (어조) | Query의 말투와 분위기를 지정합니다 | Neutral: "배송 기간이 어떻게 되나요?"Casual: "배송 얼마나 걸려?"Angry: "배송이 왜 이렇게 늦는 건가요!" |
| Topic (주제) | 특정 주제나 카테고리로 Query를 한정합니다 | 배송 관련 질문만 입력 시 배송 관련 질문만 생성 |
| User 특성 (사용자 특성) | 특정 사용자 유형의 관점에서 Query를 생성합니다 | 고객센터 사용자 → 일반적인 고객 문의 형태의 질문 생성 |
| Intent (의도) | Query에 특정 오류나 교란 요소를 의도적으로 포함합니다. AI 모델의 견고성(Robustness) 테스트에 활용됩니다. | 오타: "배솝이 언제 도착하나요?"문법 오류: "환불 하고 싶어요 어떻게요?" |
⑥ 샘플 Query 생성
[Generate 15 Sample Queries] 버튼을 클릭하여 샘플을 먼저 확인합니다. 생성된 Query를 클릭하면 상세 내용을 확인할 수 있습니다.
⑦ 전체 Query 생성
샘플 검토 후 [Generate Full Query] 버튼을 클릭합니다.
⑧ 기본 정보 입력
Query Set 이름과 설명(선택)을 입력합니다.
⑨ 저장
[Generate Query Set] 버튼을 클릭하여 저장합니다.
Custom Prompt 적용 생성
Query Set 생성 시, 사전에 작성한 Query Generation Custom Prompt를 적용하여
Query 생성 방식을 보다 세밀하게 제어할 수 있습니다.
- 기본 생성 로직 대신 사용자 정의 프롬프트 적용
- 메타데이터 변수, Glossary, Synonym Replacement 등 고급 설정 활용 가능
자세한 내용은 👉 Custom Prompt 적용 생성 문서 를 참고하세요.
Expected Response(ER) 생성
Query Set 생성 시, Context가 있는 경우 Expected Response(ER) 를 함께 생성할 수 있습니다.
- Query 생성과 동시에 ER 생성 가능
- 생성 완료 후에도 별도로 ER 생성 가능
자세한 내용은 👉 + ER Generation 문서 를 참고하세요.
3-2-2. Query Set 관리
3-2-2-1. Query Set 조회
① Query Set 목록 확인
생성된 Query Set이 리스트로 표시됩니다:
화면 구성 항목 보기
- Query Set Name: 쿼리셋 이름
- Description: 설명
- Query Set Source: 업로드/Context 기반 구분
- Query Generation Model: 사용된 생성 모델
- Query Generation Status: 완료/진행중/에러
- Query Count: 포함된 질문 개수
- Created at: 생성 날짜
② Query 상세 정보 확인
목록에서 Query Set을 클릭하면 상세 페이지로 이동합니다. Query 데이터는 행 단위로 표시되며, 특정 행을 선택하면 오른쪽 Data Detail 패널에서 해당 Query의 내용과 Metadata를 확인할 수 있습니다.
3-2-2-2. Query Set 중지, 재시작, 삭제
진행 중인 Query 생성 작업은 Query Set 상세 화면에서 제어할 수 있습니다.
① 생성 중지
[Pause] 버튼을 클릭하여 현재 진행 중인 Query 생성을 일시 중단합니다.
② 생성 재시작
[Restart Generating] 버튼을 클릭하여 중단된 생성 작업을 이어서 진행합니다.
③ Query Set 삭제
[Delete] 버튼을 클릭하여 Pause 상태이거나 생성이 완료된 Query Set을 삭제합니다.
삭제된 Query Set은 복구할 수 없으므로 주의가 필요합니다.
3-2-2-3. Query 편집 및 수정
Query Set은 다른 데이터셋과 달리 Response Set을 생성하기 전까지 자유롭게 수정이 가능합니다.
① Query 내용 수정 (Editing)
수정하려는 Query를 선택한 후 [Edit] 버튼을 클릭해 내용을 직접 편집합니다.
② Query 제외 (Remove)
제외하려는 Query의 체크박스를 선택한 후 **[Remove]**를 클릭합니다.
③ Query 복원 (Move to General)
Removed 탭에서 복원하려는 Query의 체크박스를 선택한 후 **[Move to General]**을 클릭합니다.
④ 수정 이력 확인 (Versioning)
각 Query의 수정 이력을 ID 기반으로 확인할 수 있습니다.
3-2-2-4. Query/ER 생성 오류 처리
쿼리 또는 Expected Response(ER) 생성 과정에서 다양한 사유로 오류가 발생할 수 있습니다. 오류가 발생한 항목은 시스템에서 자동 표시되며, 다음 방법으로 조치할 수 있습니다.
① 오류 항목 확인
Query 또는 ER 생성 중 오류가 발생하면, 전체 생성 완료 후 Error 탭에서 오류 항목을 확인합니다. 오류 항목은 빨간색 상태("Sorry, an Error: (서버 오류 문구)")로 표시됩니다.
Query 또는 Expected Response 컬럼 중 어느 한쪽에만 오류가 있을 수도 있습니다.
② 오류 처리 방법 선택
- Retry All: 모든 오류 항목을 한 번에 재시도합니다.
- Retry (개별): 선택한 항목만 개별적으로 재시도합니다.
- Enter manually: Query 또는 ER 내용을 직접 수정합니다.
- Delete: 불필요하거나 지속 오류가 발생한 항목을 삭제합니다.
- 모든 오류가 해결되어야 다음 단계인 Response Set 생성으로 이동할 수 있습니다.
- 같은 오류가 반복되는 경우 수기 입력 또는 해당 Query 삭제 후 진행하는 것을 권장합니다.
3-2-2-5. Query Set Export
관리 중인 Query Set을 외부 파일로 내보내거나 플랫폼에 저장할 수 있습니다.
① Export
상단 Export [↑] 버튼을 클릭합니다.
Export는 검수 완료 후, 다른 프로젝트나 시스템에서 재활용할 때 유용합니다.
📁 업로드 가이드
1. 컬럼 요약
| 구분 | 컬럼명 | 설명 |
|---|---|---|
| 필수 | query | 평가에 사용할 질문 내용 |
| 스페셜 컬럼 (선택) | context | 질문 생성 시 참고한 문맥 (= reference_context)※ 평가에 사용되지 않습니다. |
expected_response | 정답(Response)으로 사용할 컬럼 → ground_truth, gt, gold_answer, gold_response 등을 expected_response로 통일하면 관리가 편리합니다.※ RAGAs, BEIR 평가 시 활용 | |
gold_chunk( gold_context) | 정답 검증용 문맥(Context) ※ BEIR 평가 시 활용 | |
| 기타 컬럼 | 사용자 정의(Metadata) | 필수·스페셜 컬럼 외 항목은 자동으로 기타 컬럼으로 처리됩니다. |
2. 세부 설명
query: 평가에 사용할 질문 내용 (필수)context: 질문 생성 시 참고한 문맥 (=reference_context) — 평가에 직접 사용되지는 않음expected_response: 정답으로 사용할 컬럼 (ground_truth,gt,gold_answer,gold_response등과 동일한 역할)gold_chunk/gold_context: 평가 시 정답 근거로 활용되는 문맥- 기타 컬럼: 예:
difficulty,category,source→ 자동 메타데이터 처리
3. 데이터 형식 예시
CSV/XLSX 예시
| id | query | category | difficulty | domain |
|---|---|---|---|---|
| 1 | 고객센터 운영시간이 언제인가요? | hours | easy | CS |
| 2 | 환불 정책에 대해 자세히 설명해주세요. | policy | medium | Sales |
| 3 | 배송료 무료 조건을 알려주세요. | shipping | easy | Logistics |
⚠️ 주의사항
query컬럼은 반드시 포함해야 합니다.- 첫 번째 행은 컬럼명(필드명)으로 인식되므로 데이터가 아닌 헤더를 입력해야 합니다.
- 필수 컬럼 외의 모든 컬럼은 자동으로 메타데이터로 처리됩니다.
❓ 자주 묻는 질문 (FAQ)
Q. 쿼리 생성 중 에러가 발생했어요. 어떻게 처리하나요?
A. 다른 쿼리 생성이 모두 완료되면 에러가 발생한 항목만 별도로 확인할 수 있습니다. 에러 항목에 대해서는 다음 옵션 중 선택하여 처리 가능합니다:
- Delete: 해당 쿼리를 제외하고 삭제 진행
- Retry: 다시 자동 생성 시도
- Enter manually: 직접 쿼리 작성
모든 에러 케이스를 처리 완료한 후 다음 단계로 진행할 수 있습니다.