Response Set
Response Set은 Query Set의 질문에 대해 AI 모델이 생성한 응답 모음입니다.
하나의 Query Set에 대해 여러 모델의 Response Set을 만들 수 있어, 모델 간 성능을 비교·분석하고 평가 지표를 적용해 품질을 측정하는 핵심 자료로 활용됩니다.
이 가이드에서는 Response Set을 생성하고 관리하는 방법을 단계별로 안내합니다.
- 형식: CSV, XLSX
- 구조: 1행 헤더(컬럼명), 2행부터 데이터
- 필수 컬럼:
query,reesponse(그 외는 메타데이터 처리)
자세한 규칙은 아래 📁 Response File 업로드 가이드를 참고하세요.
Response Set 생성 방식 안내
Response Set은 두 가지 방식으로 생성할 수 있습니다:
- 경로 A: Upload Query File Directly — 로컬 CSV/XLSX 파일을 업로드합니다. (빠르고 단순)
- 경로 B: Generate from Context Set — 등록된 Context 기반으로 AI가 Query 자동 생성
Step 1: Response Set 생성 시작
① Response Set 생성 시작
- 화면 상단 오른쪽 「+ New Response Set」 버튼 클릭
- 초기 화면에는 "There are no response set available." 메시지 표시
② 생성 방식 선택
팝업창에서 Creation Type 선택:
Upload Response File Directly (경로 A)
- 기존에 준비된 Response를 CSV/XLSX 파일로 업로드
- 기존 모델 결과를 활용하는 경우 추천
Generate Responses Using Existing Query Set (경로 B)
- Query Set을 선택하여 AI 모델이 자동으로 Response 생성
- 실시간 응답 생성이 필요한 경우 추천
생성 방식 A: 로컬 파일 업로드
① Response 파일 업로드
Upload Response File 팝업에서:
- 형식: CSV, XLSX (Drag & Drop 또는 파일 선택)
- 샘플 파일: 다운로드 링크
- 자세한 규칙: 📁 파일 업로드 가이드
② 기본 정보 입력
- Target Model: 응답을 생성한 모델명
- Response Set Name: 필수 입력
- Description: 선택 사항
- Upload 버튼 클릭하여 저장
③ 특수 케이스: 자동 Query Set 생성
업로드한 Response Set의 Query가 기존 Query Set에 없는 경우:
- 새로운 Query Set이 자동 생성됩니다
- 자동 생성된 Query Set은 업로드된 Response Set과 자동 연결
- 연결된 Query Set은 수정 불가 상태가 됩니다
생성 방식 B: AI 응답(Response) 자동 생성
① Query Set 선택
기존 Query Set 목록에서 응답을 생성할 Query Set 선택
② Response 생성 설정
- Response Model 선택: GPT-4o, Claude 3.0 등
- Response Set Name: 필수 입력
- Description: 선택 사항
Response Set 생성 시 입력하는 Target Model은 단순히 응답을 만든 모델명을 기록하는 것에 그치지 않습니다.
이 정보는 이후 평가 진행 시, Dashboard나 Leader board에서 모델 성능을 비교·분석할 때 기준선(Baseline) 으로 활용됩니다.
즉, Response Set에서 올바른 Target Model을 설정해 두어야 대시보드에서 모델별 성능 차이를 명확하게 확인할 수 있습니다.
③ 응답 생성 실행
- Fetch Responses 버튼 클릭
- 응답 생성 진행 상황(%) 실시간 확인 가능
- 생성 완료까지 대기
Step 2: Response Set 관리
Response Set 목록 확인
생성된 Response Set이 리스트로 표시됩니다:
- Response Set Name: 응답셋 이름
- Source Query Set: 연결된 Query Set
- Response Model: 사용된 응답 생성 모델
- 상태: 완료/진행중/에러
- 응답 개수: 포함된 응답 수
- 생성일: 생성 날짜
Response Set 상세 확인
View Detail 버튼을 클릭하여 상세 정보 확인:
- Query와 Response 매칭 관계
- 개별 응답 내용 및 품질
- 메타데이터 정보
참고 가이드
📁 업로드 가이드
1. 컬럼 요약
| 구분 | 컬럼명 | 요약 설명 |
|---|---|---|
| 기본 | id | 고유 식별자 |
query | 질문 내용 | |
response | AI 모델이 생성한 응답 | |
| 스페셜 | retrieved_context | 응답 생성 시 참고한 문맥 |
| 메타데이터 | (기타 컬럼) | 필수·스페셜 외 항목 자동 메타데이터 처리 (예: model, category, confidence) |
2. 세부 설명
id: 각 응답 데이터를 구분하는 고유 식별자입니다.query: 대응되는 질문(Query Set의 질문) 내용입니다.response: AI 모델이 생성한 응답 결과입니다.retrieved_context: RAG 기반 모델 등에서 응답 생성 시 참고된 문맥 정보입니다.- 기타 컬럼: 예:
model,category,confidence
→ 자동으로 메타데이터로 처리되어 평가 결과를 필터링·분류할 때 활용할 수 있습니다. - 업로드 파일의 첫 번째 행은 컬럼명(필드명)으로 인식됩니다.
3. 데이터 형식 예시
| id | query | response | retrieved_context | model | category | confidence |
|---|---|---|---|---|---|---|
| 1 | 고객센터 운영시간이 언제인가요? | 고객센터는 평일 오전 9시부터 오후 6시까지 운영합니다. | FAQ 문서: 고객센터 운영시간은 평일 09:00-18:00입니다. | gpt-4o | hours | high |
| 2 | 환불 정책에 대해 알려주세요. | 구매일로부터 7일 이내 환불 신청이 가능합니다. | 환불 정책: 상품 구매일로부터 7일 이내 환불 가능 | gpt-4o | policy | medium |
| 3 | 배송료는 얼마인가요? | 3만원 이상 주문 시 무료배송입니다. | 배송 안내: 30,000원 이상 구매 시 무료배송 | gpt-4o | shipping | high |
CSV/XLSX 예시
id,query,response,retrieved_context,model,category,confidence
1,"고객센터 운영시간이 언제인가요?","고객센터는 평일 오전 9시부터 오후 6시까지 운영합니다.","FAQ 문서: 고객센터 운영시간은 평일 09:00-18:00입니다.","gpt-4o","hours","high"
2,"환불 정책에 대해 알려주세요.","구매일로부터 7일 이내 환불 신청이 가능합니다.","환불 정책: 상품 구매일로부터 7일 이내 환불 가능","gpt-4o","policy","medium"
3,"배송료는 얼마인가요?","3만원 이상 주문 시 무료배송입니다.","배송 안내: 30,000원 이상 구매 시 무료배송","gpt-4o","shipping","high"
🔗 Query Set과의 연결 관계
Response Set은 생성 시 Query Set과 자동으로 연결되며, 연결된 Query Set은 이후 수정할 수 없습니다.
- 파일 업로드 시: Query가 없으면 자동으로 Query Set 생성
- Query 기반 생성 시: 선택한 Query Set과 자동 연결
⚠️주의사항
- 필수 컬럼:
query,response는 반드시 포함해야 합니다. - 파일 업로드 권장 기준:
- Excel(XLSX) 형식을 권장하며, CSV 사용 시 UTF-8 인코딩으로 저장해주세요.
❓ 자주 묻는 질문 (FAQ)
Q. Response Set 업로드 시 Query Set이 자동 생성되는 경우가 언제인가요?
A. 업로드하는 Response 파일의 Query가 기존 Query Set에 없는 경우 자동으로 새로운 Query Set이 생성됩니다. 이때 생성된 Query Set은 Response Set과 자동 연결되어 수정 불가 상태가 됩니다.
Q. 연결된 Query Set을 수정하고 싶어요
A. Response Set과 연결된 Query Set은 수정할 수 없습니다. 수정이 필요하다면 연결된 모든 Response Set을 삭제 후 Query Set을 수정하거나, 새로운 Query Set을 생성하시기 바랍니다.
Q. 하나의 Query Set으로 여러 모델의 Response를 생성할 수 있나요?
A. 네, 동일한 Query Set을 사용하여 여러 모델의 Response Set을 생성할 수 있습니다. 이를 통해 모델 간 성능 비교가 가능합니다.