Миграция между экземплярами с использованием разных ведер
В этой теме описывается процесс резервного копирования коллекции из одного экземпляра Milvus и ее восстановления в другом экземпляре, причем каждый экземпляр использует разные ведра в одном и том же хранилище объектов.
Обзор
На диаграмме ниже показан процесс резервного копирования и восстановления с использованием разных ведер в одном объектном хранилище.
cross-bucket-backup-and-restore.png
Предположим, что у нас есть два экземпляра Milvus, milvus_A
и milvus_B
, оба используют стандартный механизм хранения MinIO для хранения объектов. Эти экземпляры используют разные ведра bucket_A и bucket_B
в одном и том же объектном хранилище. В этом примере нам необходимо выполнить следующие задачи:
Создать резервную копию (
my_backup
) для коллекцииcoll
вbucket_A
и сохранить ее вbucket_B
.В
bucket_B
восстановите из резервной копии и назовите восстановленную коллекциюcoll_bak
.
Необходимые условия**
Убедитесь, что инструмент milvus-backup установлен.
Ознакомьтесь с настройкой параметров объектного хранилища Milvus. Подробные сведения см. в разделе Объектное хранилище.
Резервное копирование коллекции из milvus_A
Шаг 1: Подготовьте конфигурацию
Перейдите в каталог проекта milvus-backup и создайте каталог с именем configs:
mkdir configs
cd configs
Загрузите резервный файл конфигурации backup.yaml
:
wget https://raw.githubusercontent.com/zilliztech/milvus-backup/main/configs/backup.yaml
Структура файла выглядит следующим образом:
├── configs
│ └── backup.yaml
├── milvus-backup
└── README.md
Шаг 2: Редактирование файла конфигурации
Измените файл backup.yaml, чтобы установить соответствующие конфигурации дляmilvus_A
:
Конфиги подключения
# milvus proxy address, compatible to milvus.yaml milvus: address: milvus_A port: 19530 authorizationEnabled: false # tls mode values [0, 1, 2] # 0 is close, 1 is one-way authentication, 2 is two-way authentication. tlsMode: 0 user: "root" password: "Milvus"
milvus.address
: IP-адрес или имя хоста сервераmilvus_A
.milvus.port
: TCP-порт, на котором прослушивается сервер Milvus (по умолчанию 19530).
Конфигурации хранилища (настройки MinIO/S3)
# Related configuration of minio, which is responsible for data persistence for Milvus. minio: # cloudProvider: "minio" # deprecated use storageType instead storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent) address: localhost # Address of MinIO/S3 port: 9000 # Port of MinIO/S3 accessKeyID: minioadmin # accessKeyID of MinIO/S3 secretAccessKey: minioadmin # MinIO/S3 encryption string useSSL: false # Access to MinIO/S3 with SSL useIAM: false iamEndpoint: "" bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance # only for azure backupAccessKeyID: minioadmin # accessKeyID of MinIO/S3 backupSecretAccessKey: minioadmin # MinIO/S3 encryption string backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath
minio.bucketName
: Имя ведра, используемого для хранения данных вmilvus_A
. В данном примере установлено значениеbucket_A
.minio.rootPath
: Корневой путь внутри ведра, в котором хранятся данные изmilvus_A
. В данном примере установлено значениеfiles
.minio.backupBucketName
: Имя ведра, используемого для хранения резервных копий вmilvus_B
. В этом примереmilvus_A
иmilvus_B
используют разные ведра. Поэтому установите значениеbucket_B
.minio.backupRootPath
: Корневой путь в ведре, предназначенном для хранения файлов резервных копий вmilvus_B
. В данном примере установите значениеbackup
.
Шаг 3: Создание резервной копии
После сохранения файла backup.yaml создайте резервную копию с именем my_backup
:
./milvus-backup create -c coll -n my_backup
Эта команда создает резервную копию bucket_B/backup/my_backup
в объектном хранилище для коллекции coll.
Восстановление резервной копии на milvus_B
Шаг 1: Настройте параметры восстановления
Повторите шаг 2, чтобы изменить конфигурацию для восстановления на milvus_B
, убедившись, что minio.bucketName
установлен на bucket_B
.
Вот пример конфигурации:
...
# milvus proxy address, compatible to milvus.yaml
milvus:
address: milvus_B
port: 19530
authorizationEnabled: false
# tls mode values [0, 1, 2]
# 0 is close, 1 is one-way authentication, 2 is two-way authentication.
tlsMode: 0
user: "root"
password: "Milvus"
# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
# cloudProvider: "minio" # deprecated use storageType instead
storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
address: localhost # Address of MinIO/S3
port: 9000 # Port of MinIO/S3
accessKeyID: minioadmin # accessKeyID of MinIO/S3
secretAccessKey: minioadmin # MinIO/S3 encryption string
useSSL: false # Access to MinIO/S3 with SSL
useIAM: false
iamEndpoint: ""
bucketName: "bucket_B" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
# only for azure
backupAccessKeyID: minioadmin # accessKeyID of MinIO/S3
backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath
...
Шаг 2: Восстановление резервной копии
Восстановите резервную копию на milvus_B
:
./milvus-backup restore -c coll -n my_backup -s _bak
Эта команда восстанавливает резервную копию в новую коллекцию с именем coll_bak
в milvus_B
, с данными, хранящимися в bucket_B/files/insert_log/[ID of new collection]
.