Milvus 元数据管理 (2) 元数据表中的字段
元数据表中的字段
作者:莫益华莫一华
日期: 2019-12-27
在上一篇博客中,我们提到了如何使用 MySQL 或 SQLite 查看元数据。本文主要详细介绍元数据表中的字段。
Tables
" 表中的字段
以 SQLite 为例。以下结果来自 0.5.0 版。0.6.0 中添加了一些字段,稍后将对其进行介绍。Tables
中有一行指定了一个 512 维的向量表,其名称为table_1
。表创建时,index_file_size
为 1024 MB,engine_type
为 1 (FLAT),nlist
为 16384,metric_type
为 1 (欧氏距离 L2)。id
为表的唯一标识符。state
为表的状态,0 表示正常状态。created_on
为创建时间。flag
为内部使用的保留标志。
表格
下表列出了Tables
中的字段类型和说明。
字段名称 | 数据类型 | 说明 |
---|---|---|
id | int64 | 向量表的唯一标识符。id 会自动递增。 |
table_id | 字符串 | 向量表的名称。table_id 必须由用户定义,并遵循 Linux 文件名指南。 |
state | int32 | 向量表的状态。0 表示正常,1 表示已删除(软删除)。 |
dimension | int16 | 向量表的向量维数。必须由用户定义。 |
created_on | int64 | 从 1970 年 1 月 1 日到创建表格时的毫秒数。 |
flag | int64 | 内部使用的标志,例如向量 id 是否由用户定义。默认值为 0。 |
index_file_size | int64 | 如果数据文件的大小达到index_file_size ,则该文件不会合并,而是用于建立索引。默认值为 1024 (MB)。 |
engine_type | int32 | 要为向量表建立的索引类型。默认值为 0,表示无效索引。1 表示 FLAT。2 表示 IVFLAT。4 指定 NSG。5 指定 IVFSQ8H。 |
nlist | int32 | 建立索引时,每个数据文件中的向量所划分的簇数。默认值为 16384。 |
metric_type | int32 | 计算向量距离的方法。1 指定欧氏距离(L1),2 指定内积。 |
0.6.0 中启用了表分区,并增加了一些新字段,包括owner_table
,partition_tag
和version
。一个向量表table_1
有一个名为table_1_p1
的分区,它也是一个向量表。partition_name
对应于table_id
。分区表中的字段继承自所有者表,其中owner table
字段指定所有者表的名称,partition_tag
字段指定分区的标记。
新建表
下表列出了 0.6.0 中的新字段:
字段名称 | 数据类型 | 字段名称 |
---|---|---|
owner_table | 字符串 | 分区的父表。 |
partition_tag | 字符串 | 分区的标记。不得为空字符串。 |
version | 字符串 | Milvus 版本。 |
TableFiles"
表中的字段
下面的示例包含两个文件,它们都属于table_1
向量表。第一个文件的索引类型 (engine_type
) 是 1 (FLAT);文件状态 (file_type
) 是 7(原始文件的备份);file_size
是 411200113 字节;向量行数是 200000。第二个文件的索引类型是 2 (IVFLAT);文件状态是 3(索引文件)。第二个文件实际上是第一个文件的索引。我们将在以后的文章中介绍更多信息。
表文件
下表列出了TableFiles
的字段和说明:
字段名称 | 数据类型 | 说明 |
---|---|---|
id | int64 | 向量表的唯一标识符。id 会自动递增。 |
table_id | 字符串 | 向量表的名称。 |
engine_type | int32 | 要为向量表建立的索引类型。默认值为 0,表示无效索引。1 表示 FLAT,2 表示 IVFLAT,3 表示 IVFSQ8,4 表示 NSG。4 指定 NSG。5 指定 IVFSQ8H。 |
file_id | 字符串 | 根据文件创建时间生成的文件名。等于 1000 乘以从 1970 年 1 月 1 日到创建表格时的毫秒数。 |
file_type | int32 | 文件状态。0 表示新生成的原始向量数据文件。1 表示原始向量数据文件。2 表示将为文件建立索引。3 表示该文件是一个索引文件。4 表示将删除该文件(软删除)。5 表示该文件是新生成的,用于存储组合数据。6 表示该文件是新生成的,用于存储索引数据。7 指定原始向量数据文件的备份状态。 |
file_size | int64 | 文件大小(字节)。 |
row_count | int64 | 文件中的向量个数。 |
updated_time | int64 | 最新更新时间的时间戳,指定从 1970 年 1 月 1 日到创建表格时的毫秒数。 |
created_on | int64 | 从 1970 年 1 月 1 日到创建表格时的毫秒数。 |
date | int32 | 创建表格的日期。由于历史原因,此处仍保留此参数,并将在未来版本中删除。 |
相关博客
Try Managed Milvus for Free
Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.
Get StartedLike the article? Spread the word