스토리지 V3Compatible with Milvus 3.0.x
개요
AI 데이터셋은 컬렉션이 생성된 후에도 종종 변화합니다. 모델과 워크플로가 변경됨에 따라, 팀은 텍스트를 추가하거나, 기존 엔티티에 대한 새로운 벡터 필드를 생성하거나, Milvus 외부에 저장된 데이터를 사용해야 할 수도 있습니다. 이러한 워크플로를 지원하려면 데이터셋과 함께 진화할 수 있는 스토리지 모델이 필요합니다.
스토리지 V3는 Milvus 3.0에서 이러한 모델을 제공합니다. 이 모델은 버전 관리형 스토리지 레이아웃을 사용하여 시간이 지남에 따라 추가되거나 재작성된 데이터를 통합하는 한편, 애플리케이션은 동일한 Milvus API를 통해 컬렉션에 계속 액세스할 수 있도록 합니다.
스토리지 V3는 기본적으로 비활성화되어 있습니다. ` common.storage.useLoonFFI `가 적용되면, 새로운 쓰기 작업과 압축 결과물은 스토리지 V3를 사용합니다. 기존 데이터는 백그라운드 압축을 통해 해당 데이터가 재작성될 때까지 현재 레이아웃에 그대로 유지됩니다. Milvus는 이 전환 기간 동안 두 레이아웃 모두를 읽을 수 있습니다. 스토리지 V3는 일반적인 성능 최적화를 위한 것이 아니라, 이에 의존하는 기능을 사용하기 위해 활성화해야 합니다.
Storage V3가 필요한 기능
| 기능 | 설명 | 필요한 구성 |
|---|---|---|
TEXT field | 컬렉션 스키마에 고정된 최대 길이를 설정하지 않고도 구절, 문서, 티켓 또는 로그와 같은 긴 소스 텍스트를 저장합니다. | common.storage.useLoonFFI=true |
| 함수로 생성된 벡터 필드 | 기존 컬렉션에 BM25 또는 MinHash 함수를 추가하여 Milvus가 기존 VARCHAR 필드에서 새로운 벡터 필드를 생성하도록 합니다. Milvus는 백그라운드 압축을 통해 기존 엔티티에 대해 생성된 값을 비동기적으로 백필합니다. | |
| 외부 컬렉션 | 데이터를 관리되는 컬렉션으로 복사하지 않고 Milvus 외부에 저장된 데이터를 쿼리할 수 있습니다. 소스 데이터가 변경되면 외부 컬렉션을 새로 고칩니다. 추가 소스 필드를 노출하려면 ‘외부 컬렉션 스키마 변경’을 참조하십시오. | common.storage.useLoonFFI=true |
Storage V3를 활성화하기 전에
Milvus가 Storage V3에 데이터를 한 번 기록하면, Storage V3를 읽을 수 없는 Milvus 버전으로 다운그레이드하는 것은 지원되지 않습니다. 나중에 Storage V3를 비활성화하더라도 기존의 모든 Storage V3 데이터가 즉시 변환되거나 이전 버전과의 호환성이 복원되지는 않습니다.
Storage V3를 활성화하기 전에 다음 데이터 동작을 고려하십시오.
dataCoord.compaction.storageVersion.enabled가 기본적으로 활성화되어 있으므로, 해당 조건을 충족하는 기존 데이터는 백그라운드 압축을 통해 점진적으로 Storage V3로 전환될 수 있습니다.- Storage V3를 비활성화하면 향후 쓰기 작업 및 대상 압축 출력에 대한 대상 스토리지 버전이 변경됩니다. 이는 모든 기존 Storage V3 데이터를 동기식으로 변환하거나 버전 다운그레이드를 안전하게 수행하도록 보장하지는 않습니다.
Storage V3 활성화
Milvus 구성에서 ` common.storage.useLoonFFI `를 ` true `로 설정하십시오:
common:
storage:
useLoonFFI: true
Milvus는 이 설정을 새로 고침 가능한 항목으로 처리합니다. 배포 환경에서 지원하는 구성 업데이트 워크플로를 통해 변경 사항을 적용하십시오. 정적 구성 파일을 편집하는 것만으로는 실행 중인 배포 환경이 새로운 값을 반영했음을 보장할 수 없습니다.
기존 컬렉션에 함수(Function)와 해당 함수가 생성한 벡터 필드를 추가할 계획이라면, 기존 데이터 백필에 필요한 다음 두 가지 압축 설정도 활성화해야 합니다:
dataCoord:
compaction:
bumpSchemaVersion:
enabled: true
storageVersion:
enabled: true
기존 엔티티에 대한 함수 출력은 백그라운드 압축을 통해 비동기적으로 생성됩니다. 스키마 업데이트가 성공적으로 완료되었다고 해서 모든 기존 엔티티에 대한 백필이 완료된 것은 아닙니다.