Model/Agent Management – API 등록 방법

overview

DATUMO의 Model/Agent Management은 자동 평가를 위한 핵심 과정으로, 평가에 사용할 다양한 모델/에이전트를 직접 구성하고 관리할 수 있도록 지원합니다.
특히, 평가에 활용하는 타겟모델은 응답을 생성할 수 있는 모든 API기반 서비스(Agent 포함)를 모델로 인식합니다.

[모델/에이전트 유형] - 등록 가능한 항목은 다음 다섯 가지 유형으로 구성됩니다.

• Target Model → 질문에 대한 응답을 생성하는 평가 대상 모델
• Query Generation Model → 평가용 질문을 자동 생성
• ER Generation Model → 쿼리에 대한 기대 답변(Expected Response)을 생성 모델
• Evaluation Model → 자동 평가를 위한 판단 모델
• Embedding Model → RAGAs 평가용 (특정 Metric)

---

Step-by-step

Step 1. 모델 등록

① Model/Agent 관리 페이지 접속

좌측 내비게이션 메뉴에서 [Model Settings] 항목을 클릭하여 모델 관리 페이지로 이동합니다.

상단 탭에서 유형별로 필터링 가능 (All / Target / Query Generation / ER Generation / Evaluation / Embedding)

② 신규 등록

[+New Model/Agent]를 통하여 등록할 모델 유형 선택 및 기본 정보를 입력하면 모델 등록이 완료됩니다.
※ API 항목은 유효성 검사가 자동 수행됩니다. 모든 항목 입력 시 버튼이 활성화됩니다.

• Model Name, API Request Name, API URL, API Key, API Format

+

※ API 항목은 유효성 검사가 자동 수행됩니다.
모든 필수 항목 입력 시 [Add Model] 버튼이 활성화됩니다.

③ 모델/에이전트 등록 확인

[+New Model/Agent] 버튼을 클릭하면 등록이 완료되며, 목록 상단에 "Active" 상태로 표시됩니다.

👉 API Format 안내

DATUMO에서는 사전 정의된 포맷에 따라 모델 응답을 처리합니다.
지원되는 주요 포맷은 아래와 같으며, 요청/응답이 해당 형식을 만족할 경우 정상 동작합니다.

1. OpenAI Format

OpenAI Format API Request 예시

{
  "messages": [
    {
      "role": "user", // String
      "content": "query" // String
    }
  ],
  "stream": false, // Boolean
  "temperature": 1.0, // Double
  "top_p": 0.0 // Double
}
``

**OpenAI Format API Response 예시**
{
    choices: [
        {
            "role": "assistant", // String
            "content": "response" // String
        }
    ]
}

---

Step 2. 관리 기능

① API 정보 없이 등록 (Add anyway)

Response Set을 준비할 때, 실제로 동작하지 않는 이전 버전의 모델/에이전트나
플레이스홀더 모델을 미리 등록해 평가에 포함시키고자 할 수 있습니다.
이 경우 ‘Add anyway’ 기능을 사용하면 API 엔드포인트 없이도 강제로 등록할 수 있습니다.

사용 방법

1. Model/Agent 이름을 입력합니다.
2. API 관련 필드에는 -(하이픈) 등 임시 값을 입력합니다.
3. Add anyway 옵션을 선택하면 등록이 완료됩니다.

유의사항

• API 정보가 없으므로 해당 모델은 실제 호출이 필요한 작업에서는 동작하지 않습니다.
• 주로 Response Upload(응답 파일 업로드) 등 오프라인 평가 시 유용하게 사용됩니다.

② 모델/에이전트 정보 수정 및 비활성화​

• [Edit] 버튼 클릭 시 모델/에이전트명 수정 가능
• 활성화/비활성화 토글을 통해 프로젝트에서 표기 여부를 제어할 수 있습니다. → 비활성화된모델/에이전트는 평가 시 선택 목록에 표시되지 않습니다.

---

⑦ 삭제

• [Edit] 클릭 후 [Delete] 버튼을 통해 Model/Agent을 삭제할 수 있습니다.
  ※ 삭제된 모델은 복구가 불가능하므로 주의가 필요합니다.