将 Faiss 数据导入 Milvus

本文将介绍如何使用开源工具 MilvusDM 将 Faiss 数据导入 Milvus,实现数据迁移。

数据迁移前提

在迁移数据前,你需要先 安装 MilvusDM

1. 下载 YAML 文件

下载 F2M.yaml 文件。

$ wget https://raw.githubusercontent.com/milvus-io/milvus-tools/main/yamls/F2M.yaml

2. 设置参数

需要设置的参数包括:

参数 说明 示例
milvus_version Milvus 版本。 2.0.0
data_path HDF5 文件路径。data_pathdata_dir 两个参数中只能配置一个。 '/home/user/data/faiss.index'
data_dir HDF5 文件目录。data_pathdata_dir 两个参数中只能配置一个。 '/Users/zilliz/Desktop/HDF5_data'
dest_host 目标 Milvus 服务器地址。 '127.0.0.1'
dest_port 目标 Milvus 服务器端口。 19530
mode 数据迁移模式,包括 skipappendoverwrite。该参数仅在指定 collction 名称存在于 Milvus中时生效。
  • skip:若指定 collection 或 partition 已存在,跳过数据迁移。
  • append:若指定 collection 或 partition 已存在,添加数据。
  • overwrite:若指定 collection 或 partition 已存在,在插入数据前删除已有数据。
  • 'append'
    dest_collection_name 导入数据的 collection 名称。 'test'
    dest_partition_name (optional) 导入数据的 partition 名称。 'partition'
    collection_parameter collection 相关信息,包括向量维度、索引文件大小、相似度计算方式等。 "dimension: 512
    index_file_size: 1024
    metric_type: 'HAMMING'"

    示例

    如下参数配置示例仅供参考。

    F2M:
      milvus_version: 2.0.0
      data_path: '/home/data/faiss1.index'
      dest_host: '127.0.0.1'
      dest_port: 19530
      mode: 'append'
      dest_collection_name: 'test'
      dest_partition_name: ''
      collection_parameter:
        dimension: 256
        index_file_size: 1024
        metric_type: 'L2'
    

    3. 将 Faiss 数据导入 Milvus

    运行 MilvusDM, 通过如下指令将 Faiss 数据导入 Milvus。

    $ milvusdm --yaml F2M.yaml
    

    更多内容

    • 如果你想要将其他格式的数据导入 Milvus,你可以:
    • 如果你想要了解如何将 Milvus 1.x 数据迁移至 Milvus 2.0,
    • 如果你想要了解更多有关数据迁移工具详情,
    该页面是否对你有帮助?
    评价成功!