본문으로 건너뛰기

ER(Expected Response) 생성 기능​

Expected Response(ER) 생성 기능은 Context를 보유한 Query Set에 대해
모델이 자동으로 예상 응답(Response) 을 생성하도록 하는 옵션입니다.
이를 통해 Query–Response 세트를 동시에 구성하고, 평가 시 활용할 수 있습니다.

Step 1. ER 생성 방식 안내​

ER 생성은 다음 두 가지 방식으로 수행할 수 있습니다:

  • 경로 A: 쿼리 생성 시 함께 생성 — Context Set 업로드 후, 쿼리 생성 시 ER을 함께 생성할 수 있습니다.
  • 경로 B: 생성 완료 후 별도 생성 — 등록된 Context가 있는 Query Set은 디테일 페이지에서 ER Generate 버튼으로 생성할 수 있습니다.

A. 쿼리 생성과 함께 ER을 생성할 수 있습니다.​

Query Set을 생성시 ER 생성 토글(Generate Expected Response) 을 ON 하면
쿼리 생성 과정에서 자동으로 예상 응답이 함께 생성됩니다.

  1. ER 생성 토글을 활성화하면, 생성 화면에 Expected Response 설정 영역이 추가됩니다.

  2. ER 생성을 담당할 모델(Model/Agent) 을 선택합니다.

    • 예: GPT-4o, Claude 3, 내부 사내 챗봇 등
    • ER 모델이 등록되어 있지 않다면 [Model/Agent Setting] 메뉴에서 추가할 수 있습니다.

  3. 모델 선택 후, 샘플 쿼리 생성 시 expected_response 컬럼이 함께 생성되어
    Query–ER을 동시에 관리할 수 있습니다.

Step 2. ER 관리 기능​

🛠️ 생성 중지/재시작/삭제​

ER 생성 진행 상황은 Query Set 상세 화면에서 실시간으로 확인할 수 있습니다.
진행 상태에 따라 다음과 같은 조작이 가능합니다:

  • 중지(Pause): 현재 진행 중인 ER 생성을 일시 중단합니다.
  • 재시작(Resume): 중단된 ER 생성을 이어서 진행합니다.
  • 삭제(Delete): 완료되었거나 오류가 발생한 Query Set 전체를 삭제합니다. (해당 Query Set에 포함된 ER 데이터도 함께 삭제됩니다.)

생성 중에는 10개 단위로 결과가 표시되며, 언제든 중단할 수 있습니다.

❗오류 처리 방법​

ER 생성 중 일부 데이터에서 오류가 발생하면, ‘Error 페이지’에서 일괄 확인할 수 있습니다.
오류 항목은 "Sorry, an Error..." 상태로 표시되며, 아래 방법으로 처리할 수 있습니다.


  • Retry All: 모든 오류 항목을 한 번에 재시도합니다.
  • Retry (개별): 선택한 항목만 개별적으로 재시도합니다.
  • Delete: 불필요하거나 지속적으로 오류가 발생한 항목을 삭제합니다.
  • Enter manually: ER을 직접 입력하거나 수정합니다.

모든 오류가 해결되어야 다음 단계(예: Response Set 생성)로 이동할 수 있습니다.

⚠️ 주의사항​

위험
  • ER은 Query–Response 세트를 한 번에 구성할 수 있는 선택 기능입니다.
  • ER 모델을 변경하면 생성 결과가 달라질 수 있으므로, 프로젝트 내에서 일관된 모델을 사용하는 것을 권장합니다.
  • 생성된 ER 데이터는 Response Set으로 자동 연결되지 않으며, 이후 평가 시에 사용됩니다.