🚀 Prueba Zilliz Cloud, el Milvus completamente gestionado, gratis—¡experimenta un rendimiento 10 veces más rápido! Prueba Ahora>>

milvus-logo
LFAI
  • Home
  • Blog
  • Cómo utilizar la herramienta de copia de seguridad de Milvus: Guía paso a paso

Cómo utilizar la herramienta de copia de seguridad de Milvus: Guía paso a paso

  • Engineering
September 27, 2024
Michael Mo

Milvus es una base de datos vectorial de código abierto, de alto rendimiento y altamente escalable que puede almacenar, indexar y buscar datos no estructurados a escala de miles de millones a través de incrustaciones vectoriales de alta dimensión. Es perfecta para crear aplicaciones modernas de IA, como la generación aumentada de recuperación(RAG), la búsqueda semántica, la búsqueda multimodal y los sistemas de recomendación. Milvus funciona eficazmente en diversos entornos, desde ordenadores portátiles hasta sistemas distribuidos a gran escala. Está disponible como software de código abierto y como servicio en la nube.

Milvus Backup es una herramienta para realizar copias de seguridad y restaurar los datos de Milvus. Proporciona tanto CLI como API para adaptarse a diferentes escenarios de aplicación. Esta guía lo guiará a través del proceso de uso de Milvus Backup, asegurando que pueda manejar con confianza sus necesidades de respaldo.

Preparación

Antes de iniciar el proceso de copia de seguridad o restauración, debe configurar su entorno:

1. Descargue el último binario de las versiones del repositorio de Milvus-backup. Seleccione la versión adecuada para su sistema operativo:

  • Para macOS: milvus-backup_Darwin_arm64.tar.gz o milvus-backup_Darwin_x86_64.tar.gz

  • Para Linux: milvus-backup_Linux_arm64.tar.gz o milvus-backup_Linux_x86_64.tar.gz

2. Descargue el archivo de configuración de GitHub.

3. Extraiga el archivo tar en el directorio que prefiera y coloque backup.yaml en el directorio configs/ dentro de la misma carpeta extraída. Asegúrese de que su estructura de directorios es la siguiente:

├── configs
│   └── backup.yaml
├── milvus-backup
└── README.md

Resumen de comandos

Navegue a su terminal y familiarícese con los comandos de la herramienta:

1. Ayuda general: Escriba milvus-backup help para ver los comandos y banderas disponibles.

milvus-backup is a backup&restore tool for milvus.

Usage:
 milvus-backup [flags]
 milvus-backup [command]

Available Commands:
 check       check if the connects is right.
 create      create subcommand create a backup.
 delete      delete subcommand delete backup by name.
 get         get subcommand get backup by name.
 help        Help about any command
 list        list subcommand shows all backup in the cluster.
 restore     restore subcommand restore a backup.
 server      server subcommand start milvus-backup RESTAPI server.

Flags:
     --config string   config YAML file of milvus (default "backup.yaml")
 -h, --help            help for milvus-backup

Use "milvus-backup [command] --help" for more information about a command.

2. 2.Crear una copia de seguridad: Obtenga ayuda específica para crear una copia de seguridad escribiendo milvus-backup create --help.

Usage:
 milvus-backup create [flags]

Flags:
 -n, --name string                   backup name, if unset will generate a name automatically
 -c, --colls string                  collectionNames to backup, use ',' to connect multiple collections
 -d, --databases string              databases to backup
 -a, --database_collections string   databases and collections to backup, json format: {"db1":["c1", "c2"],"db2":[]}
 -f, --force                         force backup, will skip flush, should make sure data has been stored into disk when using it
     --meta_only                     only backup collection meta instead of data
 -h, --help                          help for create

3. 3.Restaurar una copia de seguridad: Para saber cómo restaurar una copia de seguridad, utilice milvus-backup restore --help.

Usage:
 milvus-backup restore [flags]

Flags:
 -n, --name string                   backup name to restore
 -c, --collections string            collectionNames to restore
 -s, --suffix string                 add a suffix to collection name to restore
 -r, --rename string                 rename collections to new names, format: db1.collection1:db2.collection1_new,db1.collection2:db2.collection2_new
 -d, --databases string              databases to restore, if not set, restore all databases
 -a, --database_collections string   databases and collections to restore, json format: {"db1":["c1", "c2"],"db2":[]}
     --meta_only                     if true, restore meta only
     --restore_index                 if true, restore index
     --use_auto_index                if true, replace vector index with autoindex
     --drop_exist_collection         if true, drop existing target collection before create
     --drop_exist_index              if true, drop existing index of target collection before create
     --skip_create_collection        if true, will skip collection, use when collection exist, restore index or data
 -h, --help                          help for restore

Casos de uso de copia de seguridad/restauración

Existen varios casos de uso en los que la herramienta milvus-backup puede aplicarse de forma efectiva, dependiendo de sus necesidades y configuraciones específicas:

  1. Dentro de una única instancia de Milvus: Copiar una colección a una nueva dentro del mismo servicio Milvus.

  2. Entre instancias de Milvus en un único S3 con un cubo: Transferir una colección entre instancias Milvus con diferentes rutas raíz pero utilizando el mismo bucket S3.

  3. Entre instancias Milvus a través de diferentes cubos de S3: Transfiera una colección entre diferentes buckets de S3 dentro del mismo servicio de S3.

  4. A través de diferentes servicios S3: Copiar una colección entre instancias Milvus que están utilizando diferentes servicios S3.

Exploremos cada caso de uso en detalle.

Caso de uso 1: Copia de seguridad y restauración dentro de una instancia de Milvus

Copia de seguridad y restauración de una colección dentro de la misma instancia de Milvus. Supongamos que se realiza una copia de seguridad de una colección denominada "coll" y se restaura como "coll_bak" utilizando el mismo bucket de S3.

Configuración:

  • Milvus utiliza bucket_A para el almacenamiento.

  • Configuración de MinIO:

minio:
 address: localhost # Address of MinIO/S3
 port: 9000 # Port of MinIO/S3
 accessKeyID: minioadmin # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 ssl:
   tlsCACert: /path/to/public.crt # path to your CACert file, ignore when it is empty
 bucketName: bucket_A # Bucket name in MinIO/S3
 rootPath: files # The root path where the message is stored in MinIO/S3

Flujo de trabajo de copia de seguridad

1. Configure backup.yaml para apuntar Milvus y MinIO a las ubicaciones correctas.

# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
 # cloudProvider: "minio" # deprecated use storageType instead
 storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
 address: localhost # Address of MinIO/S3
 port: 9000   # Port of MinIO/S3
 accessKeyID: minioadmin  # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 useIAM: false
 iamEndpoint: ""
 bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
 rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance

 # only for azure
 backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
 backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
  backupBucketName: "bucket_A" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
 backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath

2. Cree una copia de seguridad utilizando el comando.

./milvus-backup create -c coll -n my_backup

Este comando coloca la copia de seguridad en bucket_A/backup/my_backup.

3. 3. Restaure la copia de seguridad en una nueva colección.

./milvus-backup restore -c coll -n my_backup -s _bak

Esto restaura "coll" como "coll_bak" dentro de la misma instancia de Milvus.

Figure: The Backup and Restore Workflow Within One Milvus Instance Figura: Flujo de trabajo de copia de seguridad y restauración dentro de una instancia de Milvus

Figura: Flujo de trabajo de copia de seguridad y restauración en una instancia de Milvus

Caso de uso 2: Copia de seguridad y restauración entre dos instancias de Milvus que comparten un cubo de S3

Realice una copia de seguridad de una colección desde una instancia de Milvus y restáurela en otra utilizando el mismo cubo de S3 pero con diferentes rutas raíz. Suponiendo que hay una colección llamada "coll" en milvus_A, hacemos una copia de seguridad y la restauramos en una nueva colección llamada "coll_bak" en milvus_B. Las dos instancias de Milvus comparten el mismo bucket "bucket_A" como almacenamiento, pero tienen diferentes rutas raíz.

Configuración

  • Milvus A utiliza files_A como ruta raíz.

  • Milvus B utiliza files_B como ruta raíz.

  • Configuración MinIO para Milvus A:

minio:
 address: localhost # Address of MinIO/S3
 port: 9000 # Port of MinIO/S3
 accessKeyID: minioadmin # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 ssl:
   tlsCACert: /path/to/public.crt # path to your CACert file, ignore when it is empty
 bucketName: bucket_A # Bucket name in MinIO/S3
 rootPath: files_A # The root path where the message is stored in MinIO/S3
  • Configuración MinIO para Milvus B:
minio:
 address: localhost # Address of MinIO/S3
 port: 9000 # Port of MinIO/S3
 accessKeyID: minioadmin # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 ssl:
   tlsCACert: /path/to/public.crt # path to your CACert file, ignore when it is empty
 bucketName: bucket_A # Bucket name in MinIO/S3
 rootPath: files_B # The root path where the message is stored in MinIO/S3

Flujo de trabajo de copia de seguridad

1. Configuración de copia de seguridad para Milvus A

# milvus proxy address, compatible to milvus.yaml
milvus:
 address: milvus_A
 port: 19530
 authorizationEnabled: false
 # tls mode values [0, 1, 2]
 # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
 tlsMode: 0
 user: "root"
 password: "Milvus"
 # Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
 # cloudProvider: "minio" # deprecated use storageType instead
 storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
 address: milvus_A # Address of MinIO/S3
 port: 9000   # Port of MinIO/S3
 accessKeyID: minioadmin  # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 useIAM: false
 iamEndpoint: ""
 bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
 rootPath: "files_A" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance

 # only for azure
 backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
 backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
 backupBucketName: "bucket_A" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
 backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath

2. Ejecute el comando de copia de seguridad:

./milvus-backup create -c coll -n my_backup

3. Restaurar la configuración de Milvus B

Modifique backup.yaml para que apunte a Milvus B y ajuste la ruta raíz de MinIO:

# milvus proxy address, compatible to milvus.yaml
milvus:
 address: milvus_B
 port: 19530
 authorizationEnabled: false
 # tls mode values [0, 1, 2]
 # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
 tlsMode: 0
 user: "root"
 password: "Milvus"
 # Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
 # cloudProvider: "minio" # deprecated use storageType instead
 storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
  address: milvus_B # Address of MinIO/S3
 port: 9000   # Port of MinIO/S3
 accessKeyID: minioadmin  # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 useIAM: false
 iamEndpoint: ""
 bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
 rootPath: "files_B" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance

 # only for azure
 backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
 backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
 backupBucketName: "bucket_A" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
 backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath

4. Ejecute el comando de restauración:

./milvus-backup restore -c coll -n my_backup -s _bak

Figure: The Backup and Restore Workflow Between Two Milvus Instances Sharing One S3 Bucket Figura: El flujo de trabajo de copia de seguridad y restauración entre dos instancias de Milvus que comparten un cubo de S3

Caso de uso 3: Copia de seguridad y restauración entre dos instancias de Milvus en un S3, cubos diferentes

Realice una copia de seguridad de una colección desde una instancia de Milvus (Milvus_A) y restáurela en otra instancia de Milvus (Milvus_B) dentro del mismo servicio S3 pero utilizando cubos diferentes.

Configuración:

  • Milvus utiliza bucket_A para el almacenamiento.

  • Configuración MinIO para Milvus A:

minio:
 address: localhost # Address of MinIO/S3
 port: 9000 # Port of MinIO/S3
 accessKeyID: minioadmin # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 ssl:
   tlsCACert: /path/to/public.crt # path to your CACert file, ignore when it is empty
 bucketName: bucket_A # Bucket name in MinIO/S3
 rootPath: files # The root path where the message is stored in MinIO/S3
  • Configuración MinIO para Milvus B:
minio:
 address: localhost # Address of MinIO/S3
 port: 9000 # Port of MinIO/S3
 accessKeyID: minioadmin # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 ssl:
   tlsCACert: /path/to/public.crt # path to your CACert file, ignore when it is empty
 bucketName: bucket_B # Bucket name in MinIO/S3
 rootPath: files # The root path where the message is stored in MinIO/S3

Flujo de trabajo de copia de seguridad y restauración

1. Configuración de copia de seguridad para Milvus A

# milvus proxy address, compatible to milvus.yaml
milvus:
 address: milvus_A
 port: 19530
 authorizationEnabled: false
 # tls mode values [0, 1, 2]
 # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
 tlsMode: 0
 user: "root"
 password: "Milvus"
 # Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
 # cloudProvider: "minio" # deprecated use storageType instead
 storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
 address: localhost # Address of MinIO/S3
 port: 9000   # Port of MinIO/S3
 accessKeyID: minioadmin  # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 useIAM: false
 iamEndpoint: ""
 bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
 rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance

 # only for azure
 backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
 backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
 backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
 backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath

2. Ejecute el comando de copia de seguridad:

./milvus-backup create -c coll -n my_backup

3. Restaurar configuración para Milvus B

# milvus proxy address, compatible to milvus.yaml
milvus:
 address: milvus_B
 port: 19530
 authorizationEnabled: false
 # tls mode values [0, 1, 2]
 # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
 tlsMode: 0
 user: "root"
 password: "Milvus"
 # Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
 # cloudProvider: "minio" # deprecated use storageType instead
 storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
  address: localhost # Address of MinIO/S3
 port: 9000   # Port of MinIO/S3
 accessKeyID: minioadmin  # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 useIAM: false
 iamEndpoint: ""
 bucketName: "bucket_B" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
 rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance

 # only for azure
 backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
 backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
  backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
 backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath

4. Ejecute el comando de restauración:

./milvus-backup restore -c coll -n my_backup -s _bak

Figure: The Backup and Restore Workflow Between Two Milvus Instances in One S3, Different Buckets Figura: El flujo de trabajo de copia de seguridad y restauración entre dos instancias de Milvus en un S3, cubos diferentes

Figura: El flujo de trabajo de copia de seguridad y restauración entre dos instancias de Milvus en un S3, cubos diferentes

Caso de uso 4: Copia de seguridad y restauración entre dos instancias de Milvus en diferentes servicios S3

Facilitar la copia de seguridad de una colección llamada "coll" desde Milvus_A utilizando un servicio S3 (MinIO_A) y restaurarla en Milvus_B utilizando un servicio S3 diferente (MinIO_B), con cada instancia utilizando diferentes cubos de almacenamiento.

Configuración

  • Configuración de MinIO para Milvus A:
minio:
 address: minio_A # Address of MinIO/S3
 port: 9000 # Port of MinIO/S3
 accessKeyID: minioadmin # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 ssl:
   tlsCACert: /path/to/public.crt # path to your CACert file, ignore when it is empty
 bucketName: bucket_A # Bucket name in MinIO/S3
 rootPath: files # The root path where the message is stored in MinIO/S3
  • Configuración MinIO para Milvus B
 minio:
 address: minio_B # Address of MinIO/S3
 port: 9000 # Port of MinIO/S3
 accessKeyID: minioadmin # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 ssl:
   tlsCACert: /path/to/public.crt # path to your CACert file, ignore when it is empty
 bucketName: bucket_B # Bucket name in MinIO/S3
 rootPath: files # The root path where the message is stored in MinIO/S3

Flujo de trabajo de copia de seguridad y restauración

1. Configuración de copia de seguridad para Milvus A

# milvus proxy address, compatible to milvus.yaml
milvus:
 address: milvus_A
 port: 19530
 authorizationEnabled: false
 # tls mode values [0, 1, 2]
 # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
 tlsMode: 0
 user: "root"
 password: "Milvus"
 # Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
 # cloudProvider: "minio" # deprecated use storageType instead
 storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
 address: minio_A # Address of MinIO/S3
 port: 9000   # Port of MinIO/S3
 accessKeyID: minioadmin  # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 useIAM: false
 iamEndpoint: ""
 bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
 rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance

 # only for azure
 backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
 backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
 backupBucketName: "bucket_A" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
 backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath

2. Ejecute el comando de copia de seguridad:

./milvus-backup create -c coll -n my_backup

3. Transferir la copia de seguridad

Copie manualmente la copia de seguridad de minio_A:bucket_A/backup/my_backup a minio_B:bucket_B/backup/my_backup utilizando una herramienta compatible con S3 o SDK.

4. Restaurar la configuración para Milvus B

# milvus proxy address, compatible to milvus.yaml
milvus:
 address: milvus_B
 port: 19530
 authorizationEnabled: false
 # tls mode values [0, 1, 2]
 # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
 tlsMode: 0
 user: "root"
 password: "Milvus"
 # Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
 # cloudProvider: "minio" # deprecated use storageType instead
 storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
 address: minio_B # Address of MinIO/S3
 port: 9000   # Port of MinIO/S3
 accessKeyID: minioadmin  # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 useIAM: false
 iamEndpoint: ""
 bucketName: "bucket_B" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
 rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance

 # only for azure
 backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
 backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
 backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
 backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath

5. Ejecute el comando de restauración:

./milvus-backup restore -c coll -n my_backup -s _bak

Figure: The Backup and Restore Workflow Between Two Milvus Instances Across Different S3 Services Figura: El flujo de trabajo de copia de seguridad y restauración entre dos instancias de Milvus a través de diferentes servicios S3

Figura: El flujo de trabajo de copia de seguridad y restauración entre dos instancias de Milvus a través de diferentes servicios de S3

Explicación del archivo de configuración

Edite el archivo configs/backup.yaml para adaptar la configuración de la copia de seguridad a su entorno. He aquí un desglose de las opciones de configuración:

Registro: Configure los niveles de registro y las preferencias de salida.

# Configures the system log output.
log:
 level: info # Only supports debug, info, warn, error, panic, or fatal. Default 'info'.
 console: true # whether print log to console
 file:
   rootPath: "logs/backup.log"

Conexión Milvus: Configure los detalles de conexión para su instancia Milvus.

# milvus proxy address, compatible to milvus.yaml
milvus:
 address: localhost
 port: 19530
 authorizationEnabled: false
 # tls mode values [0, 1, 2]
 # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
 tlsMode: 0
 user: "root"
 password: "Milvus"

Configuración de MinIO: Defina cómo interactúan las copias de seguridad con MinIO u otro almacenamiento compatible con S3.

# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
 # cloudProvider: "minio" # deprecated use storageType instead
 storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
 address: localhost # Address of MinIO/S3
 port: 9000   # Port of MinIO/S3
 accessKeyID: minioadmin  # accessKeyID of MinIO/S3
 secretAccessKey: minioadmin # MinIO/S3 encryption string
 useSSL: false # Access to MinIO/S3 with SSL
 useIAM: false
 iamEndpoint: ""
 bucketName: "a-bucket" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
 rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance

 # only for azure
 backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
 backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
 backupBucketName: "a-bucket" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
 backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath

Conclusión

La herramienta Milvus Backup proporciona una solución robusta para hacer copias de seguridad y restaurar colecciones dentro y entre instancias Milvus. Tanto si gestiona copias de seguridad dentro de una única instancia, entre instancias en el mismo servicio S3 o entre diferentes servicios S3, milvus-backup lo gestiona todo con flexibilidad y precisión.

Puntos clave

  1. Versatilidad: Milvus-backup admite múltiples escenarios, desde simples copias de seguridad dentro de una instancia hasta complejas restauraciones entre servicios.

  2. Flexibilidad de configuración: Configurando adecuadamente el archivo backup.yaml, los usuarios pueden personalizar los procesos de copia de seguridad y restauración para que se ajusten a necesidades específicas, adaptándose a diferentes configuraciones de almacenamiento y de red.

  3. Seguridad y control: La manipulación directa de los buckets y rutas de S3 permite controlar el almacenamiento y la seguridad de los datos, garantizando que las copias de seguridad sean seguras y accesibles solo para los usuarios autorizados.

La gestión eficaz de los datos es crucial para aprovechar todo el potencial de Milvus en sus aplicaciones. Si domina la herramienta de copia de seguridad de Milvus, podrá garantizar la durabilidad y disponibilidad de los datos, incluso en entornos distribuidos complejos. Esta guía capacita a los usuarios para implementar estrategias de copia de seguridad sólidas, promoviendo las mejores prácticas y técnicas eficientes de manejo de datos.

Tanto si es un desarrollador, un ingeniero de datos o un profesional de TI, la comprensión y utilización de la herramienta Milvus-backup puede contribuir significativamente al éxito de su proyecto proporcionando soluciones de gestión de datos fiables y eficientes.

Like the article? Spread the word

Sigue Leyendo