Desde Milvus 2.3.x

Esta guía proporciona un proceso completo, paso a paso, para migrar datos de Milvus 2.3.x a Milvus 2.3.x o superior.

Requisitos previos

• Versiones de software:
  • Milvus de origen: 2.3.0+ (La herramienta utiliza el iterador para obtener los datos de la colección de origen, lo que requiere que Milvus de origen sea la versión 2.3.0 o superior).
  • Milvus de destino: 2.3.0+
• Herramientas necesarias:
  • HerramientaMilvus-migration. Para obtener más información sobre la instalación, consulte Instalar la herramienta de migración.
• Preparación de los datos:
  • Asegúrese de que la colección Milvus de origen está cargada y lista para la exportación de datos.
  • Si el Milvus de destino no contiene una colección correspondiente a la colección de origen, la herramienta milvus-migration la creará automáticamente. Tenga en cuenta que después de la migración, la colección de destino no se indexará, y deberá indexar manualmente la colección después.

Configurar el archivo de migración

Guarde el archivo de configuración de migración de ejemplo como migration.yaml y modifique la configuración en función de sus condiciones reales. Puede colocar el archivo de configuración en cualquier directorio local.

dumper:
  worker:
    workMode: milvus2x
    reader:
      bufferSize: 500

meta:
  mode: config
  version: 2.3.0
  collection: src_table_name

source:
  milvus2x:
    endpoint: {milvus2x_domain}:{milvus2x_port}
    username: xxxx
    password: xxxxx

target:
  milvus2x:
    endpoint: {milvus2x_domain}:{milvus2x_port}
    username: xxxx
    password: xxxxx

La siguiente tabla describe los parámetros del archivo de configuración de ejemplo. Para más información, consulte Migración de Milvus: Milvus2.x a Milvus2.x.

• dumper

  Parámetro	Descripción
  dumper.worker.workMode	El modo operativo del trabajo de migración. Establezca milvus2x al migrar desde Milvus 2.x.
  dumper.worker.reader.bufferSize	Tamaño del búfer a leer de Milvus 2.x en cada lote.

• meta

  Parámetro	Descripción
  meta.mode	Especifica de dónde se lee el archivo meta. Si se establece en config, indica que el archivo meta config puede obtenerse de este archivo migration.yaml.
  meta.version	Versión Milvus de origen. Establecer como 2.3.0 o superior.
  meta.collection	Nombre de la colección de origen.

• source

  Parámetro	Descripción
  source.milvus2x.endpoint	Dirección del servidor Milvus de origen.
  source.milvus2x.username	Nombre de usuario del servidor Milvus de origen. Este parámetro es necesario si la autenticación de usuario está habilitada para su servidor Milvus. Para más información, consulte Activar autenticación.
  source.milvus2x.password	Contraseña para el servidor Milvus de origen. Este parámetro es necesario si la autenticación de usuario está activada para su servidor Milvus. Para más información, consulte Activar autenticación.

• target

  Parámetro	Descripción
  target.milvus2x.endpoint	Dirección del servidor Milvus de destino.
  target.milvus2x.username	Nombre de usuario del servidor Milvus de destino. Este parámetro es necesario si la autenticación de usuario está activada para su servidor Milvus. Para más información, consulte Activar autenticación.
  target.milvus2x.password	Contraseña para el servidor Milvus de destino. Este parámetro es necesario si la autenticación de usuario está activada para su servidor Milvus. Para obtener más información, consulte Activación de la autenticación.

Iniciar la tarea de migración

Dispone de dos opciones para iniciar la tarea de migración: utilizando la CLI o realizando solicitudes a la API. Elija la que mejor se adapte a sus necesidades.

Opción 1: Mediante CLI

Inicie la tarea de migración con el siguiente comando. Sustituya {YourConfigFilePath} por el directorio local en el que se encuentra el archivo de configuración migration.yaml.

./milvus-migration start --config=/{YourConfigFilePath}/migration.yaml

Supervise los registros en busca de actualizaciones de progreso. Los registros de migración correcta deberían incluir entradas como:

[INFO] [migration/milvus2x_starter.go:79] ["=================>JobProcess!"] [Percent=100]
[INFO] [migration/milvus2x_starter.go:27] ["[Starter] migration Milvus2x to Milvus2x finish!!!"] [Cost=94.877717375]
[INFO] [starter/starter.go:109] ["[Starter] Migration Success!"] [Cost=94.878243583]

Opción 2: Solicitudes a la API

También puede utilizar la API Restful para ejecutar la migración. Inicie el servidor API con:

./milvus-migration server run -p 8080

Una vez que el servidor se inicie correctamente, coloque el archivo migration.yaml en el directorio configs/ del proyecto e inicie la migración con:

curl -XPOST http://localhost:8080/api/v1/start

Verificar el resultado

Una vez finalizada la tarea de migración, utilice Attu para ver el número de entidades migradas. Además, puede crear índices y cargar colecciones en Attu. Para más información, consulte Attu y get_collection_stats().

Opciones de configuración adicionales

Además de las configuraciones básicas mencionadas anteriormente, también puede añadir opciones adicionales en función de sus requisitos específicos.

• Migración selectiva de campos: Si necesita migrar sólo campos específicos de una colección en lugar de todos los campos, especifique los campos que desea migrar en la sección meta del archivo migration.yaml.

  meta:
    fields:
      - name: id
      - name: title_vector
      - name: reading_time
  

• Colección de destino personalizada: Para personalizar las propiedades de la colección de destino, añada las configuraciones relacionadas en la sección meta del archivo migration.yaml.

  meta:
    milvus:
      collection: target_collection_name
      shardNum: 2
      closeDynamicField: false
      consistencyLevel: Customized
  

Para obtener información detallada, consulte Migración de Milvus: Milvus2.x a Milvus2.x.