milvus-logo
Star
0
Forks
0
快速开始

Milvus 版本迁移

本文将介绍如何使用开源工具 MilvusDM 将 Milvus 1.x 数据导入 Milvus 2.0,实现版本迁移。

MilvusDM 不支持将数据从单机版 Milvus 迁移至分布式版 Milvus。

数据迁移前提

在迁移 Milvus 版本前,你需要先 安装 MilvusDM

1. 下载 YAML 文件

下载 M2M.yaml 文件。

$ wget https://raw.githubusercontent.com/milvus-io/milvus-tools/main/yamls/M2M.yaml

2. 设置参数

需要设置的参数包括:

参数 说明 示例
milvus_version Milvus 版本。 2.0.0
data_path HDF5 文件路径。data_pathdata_dir 两个参数中只能配置一个。 - /Users/zilliz/float_1.h5
- /Users/zilliz/float_2.h5
data_dir HDF5 文件目录。data_pathdata_dir 两个参数中只能配置一个。 '/Users/zilliz/Desktop/HDF5_data'
dest_host 目标 Milvus 服务器地址。 '127.0.0.1'
dest_port 目标 Milvus 服务器端口。 19530
mode 数据迁移模式,包括 skipappendoverwrite。该参数仅在指定 collction 名称存在于 Milvus中时生效。
  • skip:若指定 collection 或 partition 已存在,跳过数据迁移。
  • append:若指定 collection 或 partition 已存在,添加数据。
  • overwrite:若指定 collection 或 partition 已存在,在插入数据前删除已有数据。
  • 'append'
    dest_collection_name 导入数据的 collection 名称。 'test_float'
    dest_partition_name (optional) 导入数据的 partition 名称。 'partition_1'
    collection_parameter collection 相关信息,包括向量维度、索引文件大小、相似度计算方式等。 "dimension: 512
    index_file_size: 1024
    metric_type: 'HAMMING'"

    如下两个参数配置示例仅供参考。示例 1 中设置了 mysql_parameter 参数。如未在 Milvus 1.x 版本中使用 MySQL 管理向量 ID,参考示例 2。

    示例 1

    M2M:
      milvus_version: 2.0.0
      source_milvus_path: '/home/user/milvus'
      mysql_parameter:
        host: '127.0.0.1'
        user: 'root'
        port: 3306
        password: '123456'
        database: 'milvus'
      source_collection: # specify the 'partition_1' and 'partition_2' partitions of the 'test' collection.
        test:
          - 'partition_1'
          - 'partition_2'
      dest_host: '127.0.0.1'
      dest_port: 19530
      mode: 'skip' # 'skip/append/overwrite'
    

    示例 2

    M2M:
      milvus_version: 2.0.0
      source_milvus_path: '/home/user/milvus'
      mysql_parameter:
      source_collection: # specify the collection named 'test'
        test:
      dest_host: '127.0.0.1'
      dest_port: 19530
      mode: 'skip' # 'skip/append/overwrite'
    

    3. 将 Milvus 1.x 数据导入 Milvus 2.0

    运行 MilvusDM, 通过如下指令将 Milvus 1.x 数据导入 Milvus 2.0。

    $ milvusdm --yaml M2M.yaml
    

    更多内容

    该页面是否对你有帮助?
    本页目录