将 HDF5 文件数据导入 Milvus

本文将介绍如何使用开源工具 MilvusDM 将 HDF5 文件数据导入 Milvus，实现数据迁移。

数据迁移前提

在迁移数据前，你需要先安装 MilvusDM。

1. 下载 YAML 文件

下载 M2H.yaml 文件。

$ wget https://raw.githubusercontent.com/milvus-io/milvus-tools/main/yamls/M2H.yaml

2. 设置参数

需要设置的参数包括：

参数	说明	示例
`milvus_version`	Milvus 版本。	2.0.0
`data_path`	HDF5 文件路径。`data_path` 及 `data_dir` 两个参数中只能配置一个。	- /Users/zilliz/float_1.h5 - /Users/zilliz/float_2.h5
`data_dir`	HDF5 文件目录。`data_path` 及 `data_dir` 两个参数中只能配置一个。	'/Users/zilliz/Desktop/HDF5_data'
`dest_host`	目标 Milvus 服务器地址。	'127.0.0.1'
`dest_port`	目标 Milvus 服务器端口。	19530
`mode`	数据迁移模式，包括 `skip`、`append` 及 `overwrite`。该参数仅在指定 collction 名称存在于 Milvus中时生效。 `skip`：若指定 collection 或 partition 已存在，跳过数据迁移。 `append`：若指定 collection 或 partition 已存在，添加数据。 `overwrite`：若指定 collection 或 partition 已存在，在插入数据前删除已有数据。	'append'
`dest_collection_name`	导入数据的 collection 名称。	'test_float'
`dest_partition_name` （可选参数）	导入数据的 partition 名称。	'partition_1'
`collection_parameter`	collection 相关信息，包括向量维度、索引文件大小、相似度计算方式等。	"dimension: 512 index_file_size: 1024 metric_type: 'HAMMING'"

如下两个参数配置示例仅供参考。示例 1 中设置了 data_path 参数。示例 2 中设置了 data_dir 参数。你可以根据需求，从参数 data_path 及 data_dir 中选择一个进行配置。

示例 1

H2M:
  milvus-version: 2.0.0
  data_path:
    - /Users/zilliz/float_1.h5
    - /Users/zilliz/float_2.h5
  data_dir:
  dest_host: '127.0.0.1'
  dest_port: 19530
  mode: 'overwrite'        # 'skip/append/overwrite'
  dest_collection_name: 'test_float'
  dest_partition_name: 'partition_1'
  collection_parameter:
    dimension: 128
    index_file_size: 1024
    metric_type: 'L2'

示例 2

H2M:
  milvus_version: 2.0.0
  data_path:
  data_dir: '/Users/zilliz/HDF5_data'
  dest_host: '127.0.0.1'
  dest_port: 19530
  mode: 'append'        # 'skip/append/overwrite'
  dest_collection_name: 'test_binary'
  dest_partition_name: 
  collection_parameter:
    dimension: 512
    index_file_size: 1024
    metric_type: 'HAMMING'

3. 将 HDF5 文件数据导入 Milvus

运行 MilvusDM，通过如下指令将 HDF5 文件数据导入 Milvus。

$ milvusdm --yaml H2M.yaml