명령을 사용하여 데이터 백업 및 복원Compatible with Milvus Backup 0.6.x

Milvus Backup을 사용하여 컬렉션을 백업하고, 동일한 Milvus 인스턴스나 다른 Milvus 인스턴스에서 복원할 수 있습니다. Milvus 3.0에서의 백업 및 복원 기능은 Milvus 3.0.1부터 공식적으로 지원됩니다. 또한 Milvus Backup은 지원되는 Milvus 2.x 버전에서 바이너리 로그(binlog) 워크플로우를 지원합니다. Milvus Backup 호환성을 확인하십시오.

Backup 0.5.x 버전을 계속 사용 중인 경우, 0.5.x CLI 가이드를 참조하십시오. 업그레이드를 진행하는 경우, 먼저 Milvus Backup 업그레이드 절차를 따르십시오.

Milvus Backup 구하기

아래 예제는 Milvus Backup 0.6.0에서 검증되었습니다. v0.6.0 릴리스에서 사용 중인 운영 체제 및 아키텍처에 맞는 바이너리를 다운로드한 후 압축을 풀어주세요. 바이너리와 구성 예제는 동일한 릴리스 버전으로 유지해야 합니다.

소스 코드에서 직접 빌드하려면 Go 1.26 이상을 설치한 후 다음 명령을 실행하십시오:

git clone --branch v0.6.0 --depth 1 https://github.com/zilliztech/milvus-backup.git
cd milvus-backup
go build

사전 빌드된 바이너리의 경우 Go가 필요하지 않습니다. 이후의 모든 셸 명령은 ` milvus-backup` 파일이 포함된 디렉터리에서 실행하십시오.

구성 파일 준비

Milvus Backup은 Milvus gRPC 엔드포인트, 관리 엔드포인트, 인스턴스의 스토리지 및 백업 대상에 대한 액세스 권한이 필요합니다. 스냅샷 백업의 경우, Milvus 서버는 백업 스토리지에 대한 액세스 권한도 필요합니다.

구성 디렉터리를 생성합니다:

mkdir -p configs

이 MinIO 예제를 configs/backup.yaml 로 저장하십시오. 주소, 자격 증명, 버킷 및 루트 경로는 사용자의 배포 환경에 맞게 변경하십시오. minioadmin 의 자격 증명은 MinIO 테스트용 기본값입니다.

configVersion: v2
milvus:
  grpc:
    address: localhost
    port: 19530
  management:
    endpoint: http://localhost:9091
  storage:
    provider: minio
    address: localhost
    port: 9000
    useSSL: false
    bucketName: a-bucket
    rootPath: files
    auth:
      type: static
      accessKeyID: minioadmin
      secretAccessKey: minioadmin
backup:
  storage:
    bucketName: a-bucket
    rootPath: backup
transfer:
  mode: auto
  • milvus.grpc 백업 또는 복원 대상 인스턴스에 연결합니다. 인증이 활성화된 경우, milvus.user 및 milvus.password 도 설정하십시오.
  • milvus.management.endpoint 백업 중 가비지 컬렉션 일시 중지/재개를 위해 사용됩니다.
  • milvus.storage 인스턴스의 실제 오브젝트 스토리지와 일치해야 합니다. 여기에 버킷을 설정해도 Milvus 구성은 변경되지 않습니다.
  • backup.storage 백업 위치를 식별합니다. 설정되지 않은 필드는 milvus.storage 에서 상속받으며, rootPath 는 예외로 기본값이 backup 입니다.
  • transfer.mode: auto 백엔드가 일치할 경우 스토리지 측 복사를 선택하고, 그렇지 않은 경우 Milvus Backup을 통한 스트리밍을 선택합니다. 이 설정은 백업 형식이 아닌 오브젝트 전송을 제어합니다.

일반적인 스토리지 기본값은 아래와 같습니다. 사용하기 전에 실행 중인 배포 환경의 값을 확인하십시오.

설정Docker ComposeHelm / Milvus Operator
버킷a-bucketmilvus-bucket
루트 경로filesfile

Milvus 서버가 백업 저장소에 접속하기 위해 다른 주소를 사용하는 경우, ` backup.storage.milvusAddress ` 및 ` milvusPort `을 서버에서 접근 가능한 주소로 설정하십시오. 인증, TLS, 기타 스토리지 제공자 및 추가 설정에 대해서는 0.6.0 구성 예제를 참조하십시오.

실제 값을 확인하고 연결 상태를 점검하십시오:

./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml

config show 각 값의 출처를 보고하면서 비밀 값은 가려집니다. 연결 상태 확인 결과에는 Success! 이 표시되어야 합니다. 백업을 생성하기 전에 연결 또는 스토리지 오류를 해결하십시오.

기존 v1 구성에 대해서는 Milvus 백업 업그레이드를 참조하십시오. 자동 구성 변환 기능은 제거된 CLI 플래그를 대체하지 않습니다.

데이터 준비

coll 라는 이름의 기존 컬렉션을 사용하고, coll_bak 가 존재하지 않는지 확인하십시오. 백업 전에 스키마, 엔티티 수, 대표적인 스칼라 및 벡터 값, 그리고 알려진 검색 결과를 기록해 두십시오. 복원된 사본과 비교할 때는 예제 데이터를 변경하지 마십시오. 대신 소규모의 일회용 데이터셋을 생성하려면 ‘샘플 데이터 준비’를 참조하십시오.

데이터 백업

coll 의 명명된 백업을 생성합니다:

./milvus-backup create --filter coll -n my_backup --config configs/backup.yaml
./milvus-backup list --config configs/backup.yaml
./milvus-backup get -n my_backup --config configs/backup.yaml

create 명령을 실행하면 create backup success 이 출력되어야 합니다. get 명령은 백업 메타데이터를 반환하므로, 예상된 컬렉션이 포함되어 있는지 확인하십시오. --filter 를 생략하면 모든 적격 컬렉션이 백업됩니다. 외부 컬렉션은 건너뜁니다.

--filter 쉼표로 구분된 이름을 지원합니다: 기본 데이터베이스의 coll, db1.coll, 또는 데이터베이스 내 모든 컬렉션을 위한 'db1.*'. 셸 확장을 방지하려면 * 를 포함하는 패턴을 따옴표로 묶으십시오.

백업 형식 또는 목적 선택

기본값인 --format auto 을 사용하면 Milvus 3.0은 스냅샷 백업을 사용하며, 지원되는 Milvus 2.x 서버는 바이너리 로그(binlog)를 사용합니다. 바이너리 로그 동작을 명시적으로 유지하려면 --format binlog 을 전달하십시오. 스냅샷 예제에서는 --format snapshot 을 명시적으로 선택합니다.

다음과 같이 용도가 워크플로우와 일치할 때 --for 를 사용하십시오:

목적프리셋에서 적용되는 값사용 목적
cloneRBAC 백업을 활성화하며, 사용자가 선택한 형식과 전략을 유지합니다데이터를 다른 인스턴스로 복사합니다. ‘ auto ’는 Milvus 3.0에서 스냅샷을 사용합니다
archivebinlog 을 강제 적용하고 RBAC 백업을 활성화합니다나중에 복원할 수 있도록 빈 로그(binlog) 형식의 백업을 유지합니다
secondarybinlog, bulk_flush, RBAC 백업 및 인덱스 추가 메타데이터를 강제 적용합니다구성된 복제 토폴로지에서 보조 노드를 초기화합니다

예:

./milvus-backup create --for clone --filter coll -n clone_backup --config configs/backup.yaml

사전 설정은 해당 옵션에 대해 상충되는 값을 재정의합니다. 예를 들어, ` --for archive --format snapshot `은 바이너리 로그 백업을 생성합니다. RBAC 메타데이터를 백업한다고 해서 자동으로 복원되는 것은 아닙니다. 필요한 경우 `restore` 명령의 ` --rbac ` 옵션을 사용하십시오.

secondary 이는 일반적인 인스턴스 간 복원을 위한 지름길이 아닙니다. 또한 인덱스 메타데이터를 위해 소스 etcd에 대한 액세스 권한, 올바른 복제 클러스터 ID 및 채널, 그리고 새로운 세컨더리 대상이 필요합니다. 백업에는 meta/full_meta.json 을 포함한 완전한 메타데이터가 유지되어야 합니다. 복제 구성 및 장애 조치 수행은 이 가이드의 범위를 벗어납니다. 버전별 구현 및 요구 사항에 대해서는 0.6.0 소스 코드 및 참조 문서를 참조하십시오.

백업 전체 보존

백업은 <backup.storage.bucketName>/<backup.storage.rootPath>/<backup_name> 아래에 저장됩니다. 이 디렉터리의 모든 객체를 보존하십시오. 스냅샷 백업에는 메타데이터뿐만 아니라 내보낸 번들도 포함됩니다.

메타데이터 파일만 복사하거나, 스냅샷 백업이 바이너리 로그 백업과 동일한 구조를 가질 것이라고 가정해서는 안 됩니다.

데이터 복원

coll 을 구성된 인스턴스의 coll_bak 으로 복원하십시오:

./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup.yaml

CLI에서 --filter 은 -s 또는 --rename 이 적용된 후의 이름과 일치합니다. --filter coll -s _bak 이 포함된 명령어는 일치하는 항목이 없으므로 컬렉션을 복원하지 않고도 성공적으로 종료될 수 있습니다.

원래 이름을 사용하여 복원하려면, 해당 컬렉션 이름이 존재하지 않는 대상을 선택하고, 구성을 해당 대상과 백업 위치로 지정한 다음 접미사를 생략하십시오:

./milvus-backup restore --filter coll -n my_backup --config configs/backup-target.yaml

동일 인스턴스에 대한 전체 예제는 ‘단일 인스턴스 내 스냅샷 백업 및 복원’을 참조하십시오. 기존의 인스턴스 간 일반 사례 페이지에서는 Backup 0.5.16 및 v1 구성을 사용합니다. 해당 명령어를 수정 없이 0.6.0에 그대로 적용하지 마십시오. 0.6.0 전송 구성에 대해서는 버전별 전송 가이드를 참조하십시오.

복원된 데이터 확인

coll_bak 가 존재하는지 확인하십시오. 복원 과정에서 벡터 인덱스가 재 생성되지 않은 경우, 컬렉션을 로드하기 전에 스키마에 적합한 인덱스를 생성하십시오. 스키마, 엔티티 수, 스칼라 및 벡터 값, 알려진 검색 결과를 백업 전에 캡처된 기준선과 비교하십시오.

일회용 256개 엔티티 데이터셋의 경우, ‘결과 확인’ 섹션에 있는 전체 점검 절차를 따르십시오. 명령어가 성공적으로 실행되었다고 해서 예상된 데이터가 복원되었다고 단정할 수는 없습니다.

번역DeepL

관리형 Milvus를 무료로 사용해 보세요

Zilliz Cloud는 번거로움이 없으며, Milvus 기반으로 10배 더 빠릅니다.

시작하기
피드백

이 페이지가 도움이 되었나요?