타겟 모델 세팅
타겟 모델 세팅 페이지에서는 평가에 사용할 다양한 모델을 등록하고 관리하는 방법을 안내합니다.
모델은 세 가지 유형으로 구분되며 각각의 목적에 맞게 설정할 수 있습니다.
- Target Model : 질문에 대한 응답을 생성하는 평가 대상 모델입니다. (ex. 튜닝된 LLM)
- Query Generation Model : 평가용 쿼리(질문)를 자동 생성하는 데 사용됩니다.
- Evaluation Model : 생성된 응답의 품질을 판단하고 점수를 매기는 평가 전용 모델입니다.
등록한 모델은 평가 수행 시 선택하여 사용할 수 있으며, 모델명 수정, 비활성화, 삭제 등의 관리 기능도 지원합니다.
Step-by-step
Step 1. 모델 등록
① 모델 설정 페이지 접속
좌측 내비게이션 메뉴에서 [Model Settings] 항목을 클릭하여 모델 관리 페이지로 이동합니다.
② 모델 유형 선택
페이지 상단에서 추가할 모델 유형을 선택합니다.
- Target Model → 프로젝트 생성 시 평가 모델로 사용
- Query Generation Model → 데이터셋 생성 시 질문 생성용으로 사용
- Evaluation Model → 평가 단계에서 응답 평가에 사용
③ 모델 정보 입력
선택한 모델 유형에 따라 아래 항목을 입력합니다:
- Model Name, API Request Name, API URL, API Key, Evaluation Type
※ API 항목은 유효성 검사가 자동 수행됩니다.
모든 필수 항목 입력 시 [Add Model] 버튼이 활성화됩니다.
④ 모델 등록 확인
[Add Model] 버튼을 클릭하면 모델이 등록되며,
목록 상단에 "Active" 상태로 표시됩니다.
Step 2. 모델 관리 기능
⑤ API 정보 없이 등록 (Add anyway)
Target Model은 API 정보 없이 모델 이름만 등록할 수도 있습니다.
이 기능은 Response Upload File을 미리 업로드할 때 유용합니다.
- [Add] 클릭 후 [+Add anyway] 선택 시 API 없이 모델 등록 가능
⑥ 모델 정보 수정 및 비활성화
- [Edit] 버튼 클릭 시 모델명 수정 가능
- 활성화/비활성화 토글을 통해 프로젝트에서 선택 여부를 제어할 수 있습니다.
→ 비활성화된 모델은 평가 시 선택 목록에 표시되지 않습니다.
⑦ 모델 삭제
- [Edit] 클릭 후 [Delete] 버튼을 통해 모델을 삭제할 수 있습니다.
※ 삭제된 모델은 복구가 불가능하므로 주의가 필요합니다.
이제 마지막 단계입니다.
프로젝트 생성하여 평가를 진행해보세요.