milvus-logo
LFAI
Home
  • Herramientas

Visión general

Milvus-CDC es una herramienta fácil de usar que puede capturar y sincronizar datos incrementales en instancias Milvus. Garantiza la fiabilidad de los datos empresariales transfiriéndolos sin problemas entre las instancias de origen y de destino, lo que permite realizar fácilmente copias de seguridad incrementales y la recuperación ante desastres.

Principales funciones

  • Sincronización secuencial de datos: Garantiza la integridad y coherencia de los datos sincronizando los cambios de datos secuencialmente entre las instancias de Milvus.

  • Replicación incremental de datos: Replica datos incrementales, incluidas inserciones y eliminaciones, de Milvus de origen a Milvus de destino, ofreciendo almacenamiento persistente.

  • Gestión de tareas CDC: Permite la gestión de tareas CDC a través de peticiones OpenAPI, incluyendo la creación, consulta de estado y eliminación de tareas CDC.

Además, estamos planeando ampliar nuestras capacidades para incluir soporte para la integración con sistemas de procesamiento de flujos en el futuro.

Arquitectura

Milvus-CDC adopta una arquitectura con dos componentes principales - un servidor HTTP que gestiona tareas y metadatos, y corelib que sincroniza la ejecución de tareas con un lector que obtiene datos de la instancia Milvus de origen y un escritor que envía datos procesados a la instancia Milvus de destino.

milvus-cdc-architecture arquitectura milvus-cdc

En el diagrama anterior,

  • Servidor HTTP: Gestiona las peticiones de los usuarios, ejecuta las tareas y mantiene los metadatos. Sirve como plano de control para la orquestación de tareas dentro del sistema Milvus-CDC.

  • Corelib: Responsable de la sincronización real de las tareas. Incluye un componente lector que recupera información del etcd y de la cola de mensajes (MQ) del Milvus de origen, y un componente escritor que traduce los mensajes de la MQ en parámetros API para el sistema Milvus y envía estas solicitudes al Milvus de destino para completar el proceso de sincronización.

Flujo de trabajo

El flujo de procesamiento de datos Milvus-CDC implica los siguientes pasos:

  1. Creación de tareas: Los usuarios inician una tarea CDC mediante peticiones HTTP.

  2. Recuperación de metadatos: El sistema recupera metadatos específicos de la colección del etcd de Milvus de origen, incluida la información del canal y del punto de control de la colección.

  3. Conexión MQ: Con los metadatos a mano, el sistema se conecta al MQ para comenzar a suscribirse al flujo de datos.

  4. Procesamiento de datos: Los datos de MQ se leen, se analizan y se transmiten utilizando el SDK Go o se procesan para replicar las operaciones realizadas en el Milvus de origen.

milvus-cdc-workflow milvus-cdc-workflow

Límites

  • Sincronización incremental de datos: A partir de ahora, Milvus-CDC está diseñado para sincronizar sólo datos incrementales. Si su empresa necesita una copia de seguridad completa de los datos, póngase en contacto con nosotros para obtener ayuda.

  • Alcance de la sincronización: Actualmente, Milvus-CDC puede sincronizar datos a nivel de clúster. Estamos trabajando para añadir soporte para la sincronización de datos a nivel de colección en próximas versiones.

  • Solicitudes de API compatibles: Milvus-CDC admite actualmente las siguientes solicitudes de API. Planeamos extender el soporte a solicitudes adicionales en futuras versiones:

    • Crear/soltar colección

    • Insertar/Borrar/Upsertar

    • Crear/soltar partición

    • Crear/soltar índice

    • Cargar/Liberar/Vaciar

    • Cargar/liberar partición

    • Crear/soltar base de datos

Traducido porDeepLogo

Try Managed Milvus for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
Feedback

¿Fue útil esta página?