CDC 작업 관리

데이터 변경 캡처(CDC) 작업은 소스 Milvus 인스턴스에서 대상 Milvus 인스턴스로 데이터를 동기화할 수 있게 해줍니다. 소스에서 작업 로그를 모니터링하고 삽입, 삭제, 인덱스 작업과 같은 데이터 변경 사항을 실시간으로 대상에 복제합니다. 이를 통해 Milvus 배포 간에 실시간 재해 복구 또는 액티브-액티브 로드 밸런싱이 용이해집니다.

이 가이드에서는 HTTP 요청을 통한 생성, 일시 중지, 재개, 세부 정보 검색, 나열, 삭제 등 CDC 작업을 관리하는 방법을 다룹니다.

작업 만들기

CDC 작업을 만들면 소스 Milvus의 데이터 변경 작업을 대상 Milvus에 동기화할 수 있습니다.

CDC 작업을 만들려면 다음과 같이 하세요:

curl -X POST http:_//localhost:8444/cdc \
-H "Content-Type: application/json" \
-d '{
  "request_type": "create",
  "request_data": {
    "milvus_connect_param": {
      "uri": "http://localhost:19530",
      "token":"root:Milvus",
      "connect_timeout": 10
    },
    "collection_infos": [
      {
        "name": "*"
      }
    ]
  }
}'

localhost를 대상 Milvus 서버의 IP 주소로 바꿉니다.

매개변수

• milvus_connect_param: 대상 Milvus의 연결 매개변수입니다.

  • host: Milvus 서버의 호스트 이름 또는 IP 주소.

  • port: 밀버스 서버가 수신 대기하는 포트 번호.

  • 사용자 이름: Milvus 서버 인증을 위한 사용자 이름입니다.

  • 비밀번호: Milvus 서버 인증을 위한 비밀번호입니다.

  • enable_tls: 연결에 TLS/SSL 암호화를 사용할지 여부입니다.

  • connect_timeout: 연결을 설정하기 위한 시간 제한 기간(초)입니다.

• collection_infos: 동기화할 컬렉션. 현재 Milvus-CDC는 개별 컬렉션이 아닌 클러스터 수준에서 동기화하므로 별표(*)만 지원됩니다.

예상 응답:

{
  "code": 200,
  "data": {
    "task_id":"xxxx"
  }
}

작업 나열

생성된 모든 CDC 작업을 나열합니다:

curl -X POST -H "Content-Type: application/json" -d '{
  "request_type": "list"
}' http://localhost:8444/cdc

localhost를 대상 Milvus 서버의 IP 주소로 바꿉니다.

예상 응답:

{
  "code": 200,
  "data": {
    "tasks": [
      {
        "task_id": "xxxxx",
        "milvus_connect_param": {
          "uri":"http://localhost:19530",
          "connect_timeout": 10
        },
        "collection_infos": [
          {
            "name": "*"
          }
        ],
        "state": "Running"
      }
    ]
  }
}

작업 일시 중지

CDC 작업을 일시 중지하려면 다음과 같이 하세요:

curl -X POST -H "Content-Type: application/json" -d '{
  "request_type":"pause",
  "request_data": {
    "task_id": "xxxx"
  }
}' http://localhost:8444/cdc

localhost를 대상 Milvus 서버의 IP 주소로 바꿉니다.

매개변수

• task_id: 일시 중지할 CDC 작업의 ID입니다.

예상 응답:

{
  "code": 200,
  "data": {}
}

작업 재개

일시 중지된 CDC 작업을 다시 시작합니다:

curl -X POST -H "Content-Type: application/json" -d '{
  "request_type":"resume",
  "request_data": {
    "task_id": "xxxx"
  }
}' http://localhost:8444/cdc

localhost를 대상 Milvus 서버의 IP 주소로 바꿉니다.

매개변수

• task_id: 재개할 CDC 작업의 ID입니다.

예상 응답:

{
  "code": 200,
  "data": {}
}

작업 세부 정보 검색

특정 CDC 작업의 세부 정보를 검색합니다:

curl -X POST -H "Content-Type: application/json" -d '{
  "request_type":"get",
  "request_data": {
    "task_id": "xxxx"
  }
}' http://localhost:8444/cdc

localhost를 대상 Milvus 서버의 IP 주소로 바꿉니다.

매개변수

• task_id: 조회할 CDC 작업의 ID입니다.

예상 응답:

{
  "code": 200,
  "data": {
    "Task": {
      "collection_infos": [
        {
          "name": "*"
        }
      ],
      "milvus_connect_param": {
        "connect_timeout": 10,
        "uri":"http://localhost:19530"
      },
      "state": "Running",
      "task_id": "xxxx"
    }
  }
}

작업 삭제

CDC 작업을 삭제합니다:

curl -X POST -H "Content-Type: application/json" -d '{
  "request_type":"delete",
  "request_data": {
    "task_id": "30d1e325df604ebb99e14c2a335a1421"
  }
}' http://localhost:8444/cdc

localhost를 대상 Milvus 서버의 IP 주소로 바꿉니다.

매개변수

• task_id: 삭제할 CDC 작업의 ID입니다.

예상 응답:

{
  "code": 200,
  "data": {}
}