🚀 Попробуйте Zilliz Cloud, полностью управляемый Milvus, бесплатно — ощутите 10-кратное увеличение производительности! Попробовать сейчас>

milvus-logo
LFAI
Главная
  • Инструменты
  • Home
  • Docs
  • Инструменты

  • Резервное копирование Milvus

  • Распространенные случаи

  • Миграция между экземплярами и ведрами

Миграция между экземплярами с использованием разных ведер

В этой теме описывается процесс резервного копирования коллекции из одного экземпляра Milvus и ее восстановления в другом экземпляре, причем каждый экземпляр использует разные ведра в одном и том же хранилище объектов.

Обзор

На диаграмме ниже показан процесс резервного копирования и восстановления с использованием разных ведер в одном объектном хранилище.

cross-bucket-backup-and-restore.png cross-bucket-backup-and-restore.png

Предположим, что у нас есть два экземпляра Milvus, milvus_A и milvus_B, оба используют стандартный механизм хранения MinIO для хранения объектов. Эти экземпляры используют разные ведра bucket_A и bucket_B в одном и том же объектном хранилище. В этом примере нам необходимо выполнить следующие задачи:

  1. Создать резервную копию (my_backup) для коллекции coll в bucket_A и сохранить ее в bucket_B.

  2. В bucket_B восстановите из резервной копии и назовите восстановленную коллекцию coll_bak.

Необходимые условия**

  • Убедитесь, что инструмент milvus-backup установлен.

  • Ознакомьтесь с настройкой параметров объектного хранилища Milvus. Подробные сведения см. в разделе Объектное хранилище.

Резервное копирование коллекции из milvus_A

Шаг 1: Подготовьте конфигурацию

Перейдите в каталог проекта milvus-backup и создайте каталог с именем configs:

mkdir configs
cd configs

Загрузите резервный файл конфигурации backup.yaml:

wget https://raw.githubusercontent.com/zilliztech/milvus-backup/main/configs/backup.yaml

Структура файла выглядит следующим образом:

├── configs
│   └── backup.yaml
├── milvus-backup
└── README.md

Шаг 2: Редактирование файла конфигурации

Измените файл backup.yaml, чтобы установить соответствующие конфигурации дляmilvus_A:

  • Конфиги подключения

    # milvus proxy address, compatible to milvus.yaml
    milvus:
      address: milvus_A
      port: 19530
      authorizationEnabled: false
      # tls mode values [0, 1, 2]
      # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
      tlsMode: 0
      user: "root"
      password: "Milvus"
    
    • milvus.address: IP-адрес или имя хоста сервера milvus_A.

    • milvus.port: TCP-порт, на котором прослушивается сервер Milvus (по умолчанию 19530).

  • Конфигурации хранилища (настройки MinIO/S3)

    # Related configuration of minio, which is responsible for data persistence for Milvus.
    minio:
      # cloudProvider: "minio" # deprecated use storageType instead
      storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
      
      address: localhost # Address of MinIO/S3
      port: 9000   # Port of MinIO/S3
      accessKeyID: minioadmin  # accessKeyID of MinIO/S3
      secretAccessKey: minioadmin # MinIO/S3 encryption string
      useSSL: false # Access to MinIO/S3 with SSL
      useIAM: false
      iamEndpoint: ""
      
      bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
      rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
    
      # only for azure
      backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
      backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
      
      backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
      backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath
    
  • minio.bucketName: Имя ведра, используемого для хранения данных в milvus_A. В данном примере установлено значение bucket_A.

  • minio.rootPath: Корневой путь внутри ведра, в котором хранятся данные из milvus_A. В данном примере установлено значение files.

  • minio.backupBucketName: Имя ведра, используемого для хранения резервных копий вmilvus_B. В этом примере milvus_A и milvus_B используют разные ведра. Поэтому установите значение bucket_B.

  • minio.backupRootPath: Корневой путь в ведре, предназначенном для хранения файлов резервных копий в milvus_B. В данном примере установите значение backup.

Шаг 3: Создание резервной копии

После сохранения файла backup.yaml создайте резервную копию с именем my_backup:

./milvus-backup create -c coll -n my_backup

Эта команда создает резервную копию bucket_B/backup/my_backup в объектном хранилище для коллекции coll.

Восстановление резервной копии на milvus_B

Шаг 1: Настройте параметры восстановления

Повторите шаг 2, чтобы изменить конфигурацию для восстановления на milvus_B, убедившись, что minio.bucketName установлен на bucket_B.

Вот пример конфигурации:

...
# milvus proxy address, compatible to milvus.yaml
milvus:
  address: milvus_B
  port: 19530
  authorizationEnabled: false
  # tls mode values [0, 1, 2]
  # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
  tlsMode: 0
  user: "root"
  password: "Milvus"
  
# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
  # cloudProvider: "minio" # deprecated use storageType instead
  storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
  
  address: localhost # Address of MinIO/S3
  port: 9000   # Port of MinIO/S3
  accessKeyID: minioadmin  # accessKeyID of MinIO/S3
  secretAccessKey: minioadmin # MinIO/S3 encryption string
  useSSL: false # Access to MinIO/S3 with SSL
  useIAM: false
  iamEndpoint: ""
  
  bucketName: "bucket_B" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
  rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance

  # only for azure
  backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
  backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
  
  backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
  backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath
...

Шаг 2: Восстановление резервной копии

Восстановите резервную копию на milvus_B:

./milvus-backup restore -c coll -n my_backup -s _bak

Эта команда восстанавливает резервную копию в новую коллекцию с именем coll_bak в milvus_B, с данными, хранящимися в bucket_B/files/insert_log/[ID of new collection].

Попробуйте Managed Milvus бесплатно

Zilliz Cloud работает без проблем, поддерживается Milvus и в 10 раз быстрее.

Начать
Обратная связь

Была ли эта страница полезной?