Миграция между экземплярами в одном ведре (разные корневые пути)
В этой теме описывается процесс резервного копирования коллекции из одного экземпляра Milvus и ее восстановления в другом экземпляре при использовании общего ведра для хранения объектов с различными корневыми путями для каждого экземпляра.
Обзор
На диаграмме ниже показан процесс резервного копирования и восстановления с использованием общего ведра.
shared-bucket-backup-and-restore.png
Предположим, что у нас есть экземпляры Milvus, milvus_A
и milvus_B
, оба используют стандартный механизм хранения MinIO для хранения объектов. Эти экземпляры используют один и тот же бакет, bucket_A
, но хранят свои данные в разных корневых путях: files_A
для milvus_A
и files_B для milvus_B
. В этом примере нам необходимо выполнить следующие задачи:
Создать резервную копию (my_backup) для коллекции coll, которая хранится по пути
files_A
дляmilvus_A
.Восстановить из резервной копии и сохранить ее в files_B для
milvus_B
.
Предварительные условия
Убедитесь, что инструмент milvus-backup установлен.
Ознакомьтесь с настройкой параметров хранилища объектов Milvus. Подробные сведения см. в разделе Хранилище объектов.
Резервное копирование коллекции из milvus_A
Шаг 1: Подготовка конфигурации
Перейдите в каталог проекта milvus-backup и создайте каталог с именем configs:
mkdir configs
cd configs
Загрузите файл конфигурации резервной копии backup.yaml:
wget https://raw.githubusercontent.com/zilliztech/milvus-backup/main/configs/backup.yaml
Структура файла выглядит следующим образом:
├── configs
│ └── backup.yaml
├── milvus-backup
└── README.md
Шаг 2: Редактирование файла конфигурации
Измените файл backup.yaml, чтобы установить соответствующие конфигурации дляmilvus_A
:
Конфиги подключения
# milvus proxy address, compatible to milvus.yaml milvus: address: milvus_A port: 19530 authorizationEnabled: false # tls mode values [0, 1, 2] # 0 is close, 1 is one-way authentication, 2 is two-way authentication. tlsMode: 0 user: "root" password: "Milvus"
milvus.address
: IP-адрес или имя хоста сервераmilvus_A
.milvus.port
: TCP-порт, на котором прослушивается сервер Milvus (по умолчанию 19530).
Конфигурации хранилища (настройки MinIO/S3)
# Related configuration of minio, which is responsible for data persistence for Milvus. minio: # cloudProvider: "minio" # deprecated use storageType instead storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent) address: milvus_A # Address of MinIO/S3 port: 9000 # Port of MinIO/S3 accessKeyID: minioadmin # accessKeyID of MinIO/S3 secretAccessKey: minioadmin # MinIO/S3 encryption string useSSL: false # Access to MinIO/S3 with SSL useIAM: false iamEndpoint: "" bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance rootPath: "files_A" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance # only for azure backupAccessKeyID: minioadmin # accessKeyID of MinIO/S3 backupSecretAccessKey: minioadmin # MinIO/S3 encryption string backupBucketName: "bucket_A" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath
minio.bucketName
: Имя ведра, используемого для храненияmilvus_A
. В данном примере установлено значениеbucket_A
.minio.rootPath
: Корневой путь внутри ведра, где хранятся данные изmilvus_A
. В данном примере установлено значениеfiles_A
.minio.backupBucketName
: Имя ведра, используемого для хранения данных. В этом примереmilvus_A
иmilvus_B
используют общий бакет. Поэтому установите значениеbucket_A
.minio.backupRootPath
: Корневой путь в ведре, предназначенном для хранения файлов резервных копийmilvus_B
. В этом примере используется путь, отличный отmilvus_A
. Поэтому установите значениеbackup
.
Шаг 3: Создание резервной копии
После сохранения backup.yaml
создайте резервную копию с именем my_backup:
./milvus-backup create -c coll -n my_backup
Эта команда создает резервную копию bucket_A/backup/my_backup
в объектном хранилище для коллекции coll
.
Восстановите резервную копию в milvus_B
Шаг 1: Настройка параметров восстановления
Повторите шаг 2, чтобы изменить конфигурацию для восстановления milvus_B
, обеспечив установку minio.bucketName
на bucket_A
и minio.rootPath
на files_B
, чтобы различать места хранения между двумя экземплярами.
Вот пример конфигурации:
...
# milvus proxy address, compatible to milvus.yaml
milvus:
address: milvus_B
port: 19530
authorizationEnabled: false
# tls mode values [0, 1, 2]
# 0 is close, 1 is one-way authentication, 2 is two-way authentication.
tlsMode: 0
user: "root"
password: "Milvus"
# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
# cloudProvider: "minio" # deprecated use storageType instead
storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
address: milvus_B # Address of MinIO/S3
port: 9000 # Port of MinIO/S3
accessKeyID: minioadmin # accessKeyID of MinIO/S3
secretAccessKey: minioadmin # MinIO/S3 encryption string
useSSL: false # Access to MinIO/S3 with SSL
useIAM: false
iamEndpoint: ""
bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
rootPath: "files_B" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
...
Шаг 2: Восстановление резервной копии
Восстановите резервную копию на milvus_B
:
./milvus-backup restore -c coll -n my_backup -s _bak
Эта команда восстанавливает резервную копию в новую коллекцию с именем coll_bak
в milvus_B
, с данными, хранящимися в bucket_A/files_B/insert_log/[ID of new collection]
.