Управление задачами CDC

Задача Capture Data Change (CDC) позволяет синхронизировать данные с исходного экземпляра Milvus на целевой экземпляр Milvus. Она отслеживает журналы операций источника и реплицирует изменения данных, такие как вставки, удаления и операции с индексами, на целевой экземпляр в режиме реального времени. Это облегчает аварийное восстановление в реальном времени или активно-активное распределение нагрузки между развертываниями Milvus.

В этом руководстве описано управление задачами CDC, включая создание, приостановку, возобновление, получение подробной информации, создание списка и удаление через HTTP-запросы.

Создание задачи

Создание задачи CDC позволяет синхронизировать операции по изменению данных в исходном Milvus с целевым Milvus.

Чтобы создать задачу CDC, выполните следующие действия:

curl -X POST http:_//localhost:8444/cdc \
-H "Content-Type: application/json" \
-d '{
  "request_type": "create",
  "request_data": {
    "milvus_connect_param": {
      "uri": "http://localhost:19530",
      "token":"root:Milvus",
      "connect_timeout": 10
    },
    "collection_infos": [
      {
        "name": "*"
      }
    ]
  }
}'

Замените localhost на IP-адрес целевого сервера Milvus.

Параметры:

• milvus_connect_param: параметры подключения целевого Milvus.

  • host: Имя хоста или IP-адрес сервера Milvus.

  • порт: Номер порта, на котором прослушивается сервер Milvus.

  • username: Имя пользователя для аутентификации на сервере Milvus.

  • password: Пароль для аутентификации на сервере Milvus.

  • enable_tls: Использовать ли TLS/SSL-шифрование для соединения.

  • connect_timeout: Период таймаута в секундах для установления соединения.

• collection_infos: Коллекции для синхронизации. В настоящее время поддерживается только звездочка(*), так как Milvus-CDC синхронизирует на уровне кластера, а не отдельных коллекций.

Ожидаемый ответ:

{
  "code": 200,
  "data": {
    "task_id":"xxxx"
  }
}

Список задач

Чтобы перечислить все созданные задачи CDC:

curl -X POST -H "Content-Type: application/json" -d '{
  "request_type": "list"
}' http://localhost:8444/cdc

Замените localhost на IP-адрес целевого сервера Milvus.

Ожидаемый ответ:

{
  "code": 200,
  "data": {
    "tasks": [
      {
        "task_id": "xxxxx",
        "milvus_connect_param": {
          "uri":"http://localhost:19530",
          "connect_timeout": 10
        },
        "collection_infos": [
          {
            "name": "*"
          }
        ],
        "state": "Running"
      }
    ]
  }
}

Приостановить задачу

Чтобы приостановить задачу CDC:

curl -X POST -H "Content-Type: application/json" -d '{
  "request_type":"pause",
  "request_data": {
    "task_id": "xxxx"
  }
}' http://localhost:8444/cdc

Замените localhost на IP-адрес целевого сервера Milvus.

Параметры:

• task_id: Идентификатор задачи CDC, которую нужно приостановить.

Ожидаемый ответ:

{
  "code": 200,
  "data": {}
}

Возобновить задачу

Чтобы возобновить приостановленную задачу CDC:

curl -X POST -H "Content-Type: application/json" -d '{
  "request_type":"resume",
  "request_data": {
    "task_id": "xxxx"
  }
}' http://localhost:8444/cdc

Замените localhost на IP-адрес целевого сервера Milvus.

Параметры:

• task_id: Идентификатор задачи CDC, которую необходимо возобновить.

Ожидаемый ответ:

{
  "code": 200,
  "data": {}
}

Получить сведения о задаче

Чтобы получить сведения о конкретной задаче CDC:

curl -X POST -H "Content-Type: application/json" -d '{
  "request_type":"get",
  "request_data": {
    "task_id": "xxxx"
  }
}' http://localhost:8444/cdc

Замените localhost на IP-адрес целевого сервера Milvus.

Параметры:

• task_id: Идентификатор задачи CDC для запроса.

Ожидаемый ответ:

{
  "code": 200,
  "data": {
    "Task": {
      "collection_infos": [
        {
          "name": "*"
        }
      ],
      "milvus_connect_param": {
        "connect_timeout": 10,
        "uri":"http://localhost:19530"
      },
      "state": "Running",
      "task_id": "xxxx"
    }
  }
}

Удалить задачу

Чтобы удалить задачу CDC, выполните следующие действия:

curl -X POST -H "Content-Type: application/json" -d '{
  "request_type":"delete",
  "request_data": {
    "task_id": "30d1e325df604ebb99e14c2a335a1421"
  }
}' http://localhost:8444/cdc

Замените localhost на IP-адрес целевого сервера Milvus.

Параметры:

• task_id: Идентификатор задачи CDC для удаления.

Ожидаемый ответ:

{
  "code": 200,
  "data": {}
}