단일 인스턴스에서의 스냅샷 백업 및 복원Compatible with Milvus Backup 0.6.x

컬렉션을 백업한 후 동일한 Milvus 인스턴스에서 새 이름으로 복원합니다. 이 예제에서는 coll 의 스냅샷을 생성하고, Milvus 3.0.1 이상에서 coll_bak 로 복원합니다. Backup 0.5.x의 경우, ‘단일 인스턴스 내 백업 및 복원’을 사용하십시오.

개요

위치Milvus 인스턴스오브젝트 스토어버킷루트 경로
소스 데이터milvus-aminio-abucket-afiles
소스에서 생성된 백업—minio-abucket-abackup/my_backup
복원된 데이터milvus-aminio-abucket-afiles

필수 조건

  • Milvus 3.0.1 이상을 사용하십시오. 이 예제는 Milvus Backup 0.6.0 및 Milvus 3.0.1에서 검증되었습니다. ‘명령을 사용하여 데이터 백업 및 복원’에 설명된 대로 도구를 설치하십시오.
  • coll 라는 기존 컬렉션을 사용하거나, 아래의 선택적 샘플 컬렉션을 생성하십시오. 소스 결과와 복원된 결과를 비교할 때 해당 데이터는 변경하지 마십시오.
  • Milvus Backup에서 Milvus의 gRPC 포트(19530), 관리 포트(9091) 및 객체 스토리지에 접근할 수 있도록 설정하십시오. 또한 Milvus 서버는 스냅샷 내보내기 및 가져오기를 위해 백업 스토리지에 접근할 수 있어야 합니다.
  • 예시 호스트 이름, 버킷 이름, 루트 경로 및 자격 증명을 실제 배포 환경의 설정으로 대체하십시오. Milvus 스토리지 설정은 실행 중인 인스턴스와 일치해야 하며, 백업 구성을 변경한다고 해서 Milvus가 재구성되지는 않습니다.
  • 대상 인스턴스에 ` coll_bak `가 존재하지 않는지 확인하십시오.

Milvus 스토리지 설정에 대해서는 ‘오브젝트 스토리지’를 참조하십시오. 기존 v1 백업 구성에 대해서는 ‘Milvus Backup 업그레이드’를 참조하십시오.

샘플 데이터 준비

아래 명령어는 coll 라는 기존 컬렉션을 사용합니다. 이름을 일관되게 변경하여 사용자만의 컬렉션을 사용할 수 있습니다.

소규모 테스트 컬렉션의 경우, PyMilvus를 설치하고 빈 컬렉션 이름을 대상으로 다음 명령을 실행하십시오. Milvus가 로컬에 없는 경우 URI를 변경하십시오:

pip install pymilvus==3.0.0
import random
from pymilvus import DataType, MilvusClient

client = MilvusClient(uri="http://localhost:19530")
assert not client.has_collection("coll"), "Use an empty sample collection name"
schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("label", DataType.VARCHAR, max_length=64)
schema.add_field("vector", DataType.FLOAT_VECTOR, dim=8)
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_collection("coll", schema=schema, index_params=indexes)

rng = random.Random(601)
rows = [
    {"id": i, "label": f"backup-docs-{i}",
     "vector": [rng.randrange(256) / 256 for _ in range(8)]}
    for i in range(256)
]
client.insert("coll", rows)
client.flush("coll")

이렇게 하면 256개의 엔티티가 생성됩니다. 나머지 단계를 진행하는 동안 이 테스트 데이터는 변경하지 마십시오.

컬렉션 백업

1단계: 구성 준비

milvus-backup 바이너리가 포함된 디렉터리에서 다음 명령을 실행하십시오. 나머지 명령을 실행할 때도 이 작업 디렉터리를 유지하십시오:

mkdir -p configs

다음 내용을 configs/backup-source.yaml 로 저장하십시오. 이 예제에서는 MinIO의 기본 테스트 자격 증명을 사용하므로, 사용자의 오브젝트 스토어에 맞는 자격 증명로 대체하십시오.

configVersion: v2
milvus:
  grpc:
    address: milvus-a
    port: 19530
  management:
    endpoint: http://milvus-a:9091
  storage:
    provider: minio
    address: minio-a
    port: 9000
    useSSL: false
    bucketName: bucket-a
    rootPath: files
    auth:
      type: static
      accessKeyID: minioadmin
      secretAccessKey: minioadmin
backup:
  storage:
    bucketName: bucket-a
    rootPath: backup
transfer:
  mode: auto

milvus.storage 는 소스 인스턴스의 데이터를 설명합니다. ` backup.storage `는 백업 대상을 설명합니다. 설정되지 않은 백업 스토리지 필드는 ` milvus.storage`에서 상속받으며, ` rootPath`는 예외로 기본값이 ` backup`입니다.

Milvus와 Milvus Backup이 동일한 오브젝트 스토어에 접속하기 위해 서로 다른 주소를 사용하는 경우, backup.storage.milvusAddress 및 milvusPort 필드를 Milvus 서버에서 접속 가능한 주소로 구성하십시오. 0.6.0 구성 예제를 참조하십시오.

2단계: 연결 상태 확인 및 백업 생성

./milvus-backup check --config configs/backup-source.yaml
./milvus-backup create --format snapshot --filter coll -n my_backup --config configs/backup-source.yaml
./milvus-backup get -n my_backup --config configs/backup-source.yaml

연결성 확인 결과 Success! 이 표시되어야 합니다. 생성 명령어 실행 시 create backup success 이 표시되어야 하며, 백업 정보에는 coll 이 나열되어야 합니다.

--format snapshot 를 명시적으로 지정하면 스냅샷 워크플로가 선택됩니다. Milvus 3.0에서는 기본값인 auto 도 스냅샷을 선택합니다. 백업에는 메타데이터와 bucket-a/backup/my_backup 아래에 있는 내보낸 스냅샷 번들이 포함됩니다. 디렉터리 전체를 보존하십시오.

동일한 인스턴스 내에서 복원

동일한 구성을 사용하여 접미사가 붙은 백업을 복원하십시오:

./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-source.yaml

CLI --filter 는 -s 또는 --rename 를 적용한 후 대상 이름과 일치합니다. 이 복원 명령에서는 coll 대신 coll_bak 를 사용하십시오. 아무것도 일치하지 않는 필터는 컬렉션을 생성하지 않고 성공적으로 종료될 수 있습니다.

복원된 컬렉션은 대상 인스턴스에 구성된 스토리지를 사용합니다. Milvus는 스냅샷 가져오기 및 그 결과로 생성된 데이터 레이아웃을 관리합니다.

결과 확인

위의 선택적 256개 엔티티 샘플 데이터의 경우, 복원 대상에 대해 다음 명령을 실행하십시오. localhost:19530 을 데이터 준비에 사용된 것과 동일한 Milvus 엔드포인트로 대체하십시오. 이 명령은 데이터를 삭제하지 않은 상태에서 개수, 모든 스칼라 및 벡터 값, 벡터 검색 결과를 확인합니다:

import random
from pymilvus import MilvusClient

client = MilvusClient(uri="http://localhost:19530")
assert client.has_collection("coll_bak")
if not client.list_indexes("coll_bak"):
    indexes = client.prepare_index_params()
    indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
    client.create_index("coll_bak", indexes)
client.load_collection("coll_bak")

rng = random.Random(601)
expected = [
    {"id": i, "label": f"backup-docs-{i}",
     "vector": [rng.randrange(256) / 256 for _ in range(8)]}
    for i in range(256)
]
count = client.query("coll_bak", filter="", output_fields=["count(*)"],
                     consistency_level="Strong")[0]["count(*)"]
actual = client.query("coll_bak", filter="id >= 0",
                      output_fields=["id", "label", "vector"], limit=512,
                      consistency_level="Strong")
assert count == 256
assert sorted(actual, key=lambda row: row["id"]) == expected
hits = client.search("coll_bak", data=[expected[7]["vector"]], limit=1,
                     consistency_level="Strong")
assert hits[0][0]["id"] == 7
print("Backup and restore verified")

다른 데이터의 경우, 백업 시점의 기준값과 비교하십시오. 복원된 컬렉션에 벡터 인덱스가 없는 경우, 데이터를 로드하기 전에 적절한 벡터 인덱스를 생성하십시오. 명령어가 성공적으로 실행되었다고 해서 예상된 데이터가 복원되었다고 단정할 수는 없습니다.

번역DeepL

관리형 Milvus를 무료로 사용해 보세요

Zilliz Cloud는 번거로움이 없으며, Milvus 기반으로 10배 더 빠릅니다.

시작하기
피드백

이 페이지가 도움이 되었나요?