Migrare tra istanze in un bucket (percorsi radice diversi)

Questo argomento illustra il processo di backup di una collezione da un'istanza di Milvus e il suo ripristino in un'altra, utilizzando un bucket condiviso per l'archiviazione degli oggetti, con percorsi radice distinti per ciascuna istanza.

Panoramica

Il diagramma seguente illustra il processo di backup e ripristino utilizzando un bucket condiviso.

bucket condiviso-backup-e-ripristino.png

Supponiamo di avere istanze Milvus, milvus_A e milvus_B, che utilizzano entrambe il motore di archiviazione MinIO predefinito per l'archiviazione degli oggetti. Queste istanze condividono lo stesso bucket, bucket_A, ma memorizzano i loro dati in percorsi radice diversi: files_A per milvus_A e files_B per milvus_B. In questo esempio, l'obiettivo è completare le seguenti operazioni:

1. Creare un backup (my_backup) per la raccolta coll, memorizzata nel percorsofiles_A per milvus_A.

2. Ripristinare il backup e memorizzarlo in files_B per milvus_B.

Prerequisiti

• Assicurarsi che lo strumento milvus-backup sia installato.

• Familiarizzare con la configurazione delle impostazioni di archiviazione degli oggetti di Milvus. Per i dettagli, consultare Archiviazione degli oggetti.

Eseguire il backup di una raccolta da milvus_A

Passo 1: Preparare la configurazione

Andare nella directory del progetto milvus-backup e creare una directory denominata configs:

mkdir configs
cd configs

Scaricare il file di configurazione di backup backup.yaml:

wget https://raw.githubusercontent.com/zilliztech/milvus-backup/main/configs/backup.yaml

La struttura del file è la seguente:

├── configs
│   └── backup.yaml
├── milvus-backup
└── README.md

Passo 2: modificare il file di configurazione

Modificare il file backup.yaml per impostare le configurazioni appropriate permilvus_A:

• Connessione configs

  # milvus proxy address, compatible to milvus.yaml
  milvus:
    address: milvus_A
    port: 19530
    authorizationEnabled: false
    # tls mode values [0, 1, 2]
    # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
    tlsMode: 0
    user: "root"
    password: "Milvus"
  

  • milvus.address: Indirizzo IP o nome host del server milvus_A.

  • milvus.port: Porta TCP su cui il server Milvus è in ascolto (default 19530).

• Configurazioni di archiviazione (impostazioni MinIO/S3)

  # Related configuration of minio, which is responsible for data persistence for Milvus.
  minio:
    # cloudProvider: "minio" # deprecated use storageType instead
    storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
    
    address: milvus_A # Address of MinIO/S3
    port: 9000   # Port of MinIO/S3
    accessKeyID: minioadmin  # accessKeyID of MinIO/S3
    secretAccessKey: minioadmin # MinIO/S3 encryption string
    useSSL: false # Access to MinIO/S3 with SSL
    useIAM: false
    iamEndpoint: ""
    
    bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
    rootPath: "files_A" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
  
    # only for azure
    backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
    backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
    
    backupBucketName: "bucket_A" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
    backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath
  

  • minio.bucketName: Nome del bucket utilizzato per l'archiviazione di milvus_A. In questo esempio, impostato su bucket_A.

  • minio.rootPath: Percorso principale all'interno del bucket in cui sono memorizzati i dati di milvus_A. In questo esempio, impostato su files_A.

  • minio.backupBucketName: Nome del bucket utilizzato per l'archiviazione. In questo esempio, milvus_A e milvus_B condividono il bucket. Pertanto, impostare subucket_A.

  • minio.backupRootPath: Percorso principale all'interno del bucket designato per l'archiviazione dei file di backup in milvus_B. In questo esempio, utilizzare un percorso diverso da milvus_A. Pertanto, impostare backup.

Passo 3: Creare il backup

Una volta salvato backup.yaml, creare un backup chiamato my_backup:

./milvus-backup create -c coll -n my_backup

Questo comando crea il backup bucket_A/backup/my_backup nell'archivio oggetti per la raccolta coll.

Ripristinare il backup a milvus_B

Passo 1: Configurare le impostazioni di ripristino

Ripetere il passaggio 2 per modificare le configurazioni per il ripristino di milvus_B, assicurandosi che minio.bucketName sia impostato su bucket_A e minio.rootPath su files_B per distinguere le posizioni di archiviazione tra le due istanze.

Ecco un esempio di configurazione:

...
# milvus proxy address, compatible to milvus.yaml
milvus:
  address: milvus_B
  port: 19530
  authorizationEnabled: false
  # tls mode values [0, 1, 2]
  # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
  tlsMode: 0
  user: "root"
  password: "Milvus"
  
# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
  # cloudProvider: "minio" # deprecated use storageType instead
  storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
  
  address: milvus_B # Address of MinIO/S3
  port: 9000   # Port of MinIO/S3
  accessKeyID: minioadmin  # accessKeyID of MinIO/S3
  secretAccessKey: minioadmin # MinIO/S3 encryption string
  useSSL: false # Access to MinIO/S3 with SSL
  useIAM: false
  iamEndpoint: ""
  
  bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
  rootPath: "files_B" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
  ...

Passo 2: Ripristino del backup

Ripristinare il backup in milvus_B:

./milvus-backup restore -c coll -n my_backup -s _bak

Questo comando ripristina il backup in una nuova raccolta denominata coll_bak in milvus_B, con i dati archiviati in bucket_A/files_B/insert_log/[ID of new collection].