Visión general de la migración de Milvus

Reconociendo las diversas necesidades de la base de usuarios, Milvus ha ampliado sus herramientas de migración no sólo para facilitar las actualizaciones desde versiones anteriores de Milvus 1.x, sino también para permitir la integración perfecta de datos de otros sistemas como Elasticsearch y Faiss. El proyecto Milvus-migration está diseñado para salvar las distancias entre estos variados entornos de datos y los últimos avances de la tecnología Milvus, garantizando que pueda aprovechar las funciones mejoradas y el rendimiento sin problemas.

Migraciones compatibles

La herramienta Milvus-migration admite una variedad de rutas de migración para adaptarse a las diferentes necesidades de los usuarios:

• Elasticsearch a Milvus 2.x: Permite a los usuarios migrar datos desde entornos Elasticsearch para aprovechar las capacidades de búsqueda vectorial optimizada de Milvus.
• Faiss a Milvus 2.x: Proporcionando soporte experimental para transferir datos desde Faiss, una biblioteca popular para la búsqueda eficiente de similitudes.
• Milvus 1.x a Milvus 2.x: Garantizar que los datos de las versiones anteriores se transfieran sin problemas al marco más reciente.
• Milvus 2.3.x a Milvus 2.3.x o superior: Proporcionar una ruta de migración única para los usuarios que ya han migrado a 2.3.x.

Características

Milvus-migration está diseñado con características robustas para manejar diversos escenarios de migración:

• Múltiples métodos de interacción: Puede realizar migraciones a través de una interfaz de línea de comandos o a través de una API Restful, con flexibilidad en la forma en que se ejecutan las migraciones.
• Compatibilidad con varios formatos de archivo y almacenamiento en la nube: La herramienta Milvus-migration puede manejar datos almacenados en archivos locales, así como en soluciones de almacenamiento en la nube como S3, OSS y GCP, garantizando una amplia compatibilidad.
• Manejo de tipos de datos: Milvus-migration es capaz de tratar tanto datos vectoriales como campos escalares, lo que la convierte en una opción versátil para diferentes necesidades de migración de datos.

Arquitectura

La arquitectura de Milvus-migration está estratégicamente diseñada para facilitar procesos eficientes de flujo, análisis sintáctico y escritura de datos, permitiendo una sólida capacidad de migración a través de diversas fuentes de datos.

Arquitectura de Milvus-migration

En la figura anterior

• Fuente de datos: Milvus-migration admite múltiples fuentes de datos, incluyendo Elasticsearch a través de la API de desplazamiento, archivos de datos de almacenamiento local o en la nube, y bases de datos Milvus 1.x. Se accede a ellas y se leen de forma racionalizada para iniciar el proceso de migración.
• Canalización de flujos:
  • Proceso de análisis sintáctico: Los datos de las fuentes se analizan según su formato. Por ejemplo, para una fuente de datos de Elasticsearch, se emplea un analizador de formato de Elasticsearch, mientras que otros formatos utilizan los analizadores respectivos. Este paso es crucial para transformar los datos sin procesar en un formato estructurado que pueda ser procesado posteriormente.
  • Proceso de conversión: Tras el análisis sintáctico, los datos se someten a un proceso de conversión en el que se filtran los campos, se convierten los tipos de datos y se ajustan los nombres de las tablas de acuerdo con el esquema Milvus 2.x de destino. Esto garantiza que los datos se ajustan a la estructura y los tipos esperados en Milvus.
• Escritura y carga de datos:
  • Escritura de datos: Los datos procesados se escriben en archivos intermedios JSON o NumPy, listos para ser cargados en Milvus 2.x.
  • Cargar datos: Los datos se cargan finalmente en Milvus 2.x utilizando la operación BulkInsert, que escribe de forma eficiente grandes volúmenes de datos en los sistemas de almacenamiento de Milvus, ya sean basados en la nube o en almacenes de archivos.

Planes de futuro

El equipo de desarrollo se ha comprometido a mejorar Milvus-migration con características como las siguientes:

• Soporte para más fuentes de datos: Planes para ampliar el soporte a bases de datos y sistemas de archivos adicionales, como Pinecone, Chroma, Qdrant. Si necesita soporte para una fuente de datos específica, envíe su solicitud a través de este enlace de incidencia de GitHub.
• Simplificación de comandos: Esfuerzos para simplificar el proceso de comandos para una ejecución más fácil.
• SPI parser / convertir: La arquitectura espera incluir herramientas de interfaz de proveedor de servicios (SPI) tanto para el análisis sintáctico como para la conversión. Estas herramientas permiten implementaciones personalizadas que los usuarios pueden conectar al proceso de migración para gestionar formatos de datos específicos o reglas de conversión.
• Reanudación del punto de control: Permite que las migraciones se reanuden desde el último punto de control para mejorar la fiabilidad y la eficacia en caso de interrupciones. Se crearán puntos de guardado para garantizar la integridad de los datos y se almacenarán en bases de datos como SQLite o MySQL para seguir el progreso del proceso de migración.