Migrar entre instâncias entre compartimentos

Este tópico detalha o processo de fazer o backup de uma coleção de uma instância do Milvus e restaurá-la para outra, com cada instância usando buckets diferentes dentro do mesmo armazenamento de objetos.

Visão geral

O diagrama abaixo ilustra o processo de backup e restauração usando diferentes compartimentos dentro do mesmo armazenamento de objetos.

cross-bucket-backup-and-restore.png

Suponha que temos duas instâncias Milvus, milvus_A e milvus_B, ambas utilizando o mecanismo de armazenamento MinIO padrão para o armazenamento de objectos. Estas instâncias utilizam diferentes buckets bucket_A e bucket_B dentro do mesmo armazenamento de objectos. Neste exemplo, o nosso objetivo é concluir as seguintes tarefas:

1. Criar uma cópia de segurança (my_backup) para a coleção coll em bucket_A e armazenar a cópia de segurança em bucket_B.

2. Em bucket_B, restaurar a partir do backup e nomear a coleção restaurada coll_bak.

Pré-requisitos**

• Certifique-se de que a ferramenta milvus-backup está instalada.

• Familiarize-se com a configuração das definições de armazenamento de objectos do Milvus. Para mais informações, consulte Armazenamento de objectos.

Fazer backup de uma coleção do milvus_A

Etapa 1: Preparar a configuração

Vá para o diretório do projeto milvus-backup e crie um diretório chamado configs:

mkdir configs
cd configs

Descarregue o ficheiro de configuração de backup backup.yaml:

wget https://raw.githubusercontent.com/zilliztech/milvus-backup/main/configs/backup.yaml

A estrutura do ficheiro tem o seguinte aspeto:

├── configs
│   └── backup.yaml
├── milvus-backup
└── README.md

Passo 2: Editar o ficheiro de configuração

Modifique o ficheiro backup.yaml para definir as configurações apropriadas paramilvus_A:

• Configurações de conexão

  # milvus proxy address, compatible to milvus.yaml
  milvus:
    address: milvus_A
    port: 19530
    authorizationEnabled: false
    # tls mode values [0, 1, 2]
    # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
    tlsMode: 0
    user: "root"
    password: "Milvus"
  

  • milvus.address: Endereço IP ou nome de host do servidor milvus_A.

  • milvus.port: Porta TCP na qual o servidor Milvus está a ouvir (predefinição 19530).

• Configurações de armazenamento (definições MinIO/S3)

  # Related configuration of minio, which is responsible for data persistence for Milvus.
  minio:
    # cloudProvider: "minio" # deprecated use storageType instead
    storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
    
    address: localhost # Address of MinIO/S3
    port: 9000   # Port of MinIO/S3
    accessKeyID: minioadmin  # accessKeyID of MinIO/S3
    secretAccessKey: minioadmin # MinIO/S3 encryption string
    useSSL: false # Access to MinIO/S3 with SSL
    useIAM: false
    iamEndpoint: ""
    
    bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
    rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
  
    # only for azure
    backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
    backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
    
    backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
    backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath
  

• minio.bucketName: Nome do contentor utilizado para o armazenamento de dados em milvus_A. Neste exemplo, definido como bucket_A.

• minio.rootPath: Caminho raiz dentro do bucket onde os dados de milvus_A são armazenados. Neste exemplo, definido como files.

• minio.backupBucketName: Nome do compartimento utilizado para o armazenamento de cópias de segurança emmilvus_B. Neste exemplo, milvus_A e milvus_B usam compartimentos diferentes. Portanto, defina como bucket_B.

• minio.backupRootPath: Caminho da raiz dentro do compartimento designado para armazenar ficheiros de cópia de segurança em milvus_B. Neste exemplo, defina para backup.

Etapa 3: criar backup

Depois que backup.yaml for salvo, crie um backup chamado my_backup:

./milvus-backup create -c coll -n my_backup

Este comando cria a cópia de segurança bucket_B/backup/my_backup no armazenamento de objectos para a coleção coll.

Restaurar a cópia de segurança para milvus_B

Passo 1: Configurar as definições de restauro

Repita o passo 2 para modificar as configurações para o restauro para milvus_B, assegurando que minio.bucketName está definido para bucket_B.

Aqui está um exemplo de configuração:

...
# milvus proxy address, compatible to milvus.yaml
milvus:
  address: milvus_B
  port: 19530
  authorizationEnabled: false
  # tls mode values [0, 1, 2]
  # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
  tlsMode: 0
  user: "root"
  password: "Milvus"
  
# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
  # cloudProvider: "minio" # deprecated use storageType instead
  storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
  
  address: localhost # Address of MinIO/S3
  port: 9000   # Port of MinIO/S3
  accessKeyID: minioadmin  # accessKeyID of MinIO/S3
  secretAccessKey: minioadmin # MinIO/S3 encryption string
  useSSL: false # Access to MinIO/S3 with SSL
  useIAM: false
  iamEndpoint: ""
  
  bucketName: "bucket_B" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
  rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance

  # only for azure
  backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
  backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
  
  backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
  backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath
...

Passo 2: Restaurar a cópia de segurança

Restaure o backup para milvus_B:

./milvus-backup restore -c coll -n my_backup -s _bak

Este comando restaura a cópia de segurança para uma nova coleção denominada coll_bak em milvus_B, com dados armazenados em bucket_B/files/insert_log/[ID of new collection].