与 dataNode 相关的配置
dataNode.dataSync.flowGraph.maxQueueLength
| 说明 | 默认值 |
|---|---|
| 流图中任务队列的最大长度 | 16 |
dataNode.dataSync.flowGraph.maxParallelism
| 描述 | 默认值 |
|---|---|
| 流程图中并行执行的任务最大数量 | 1024 |
dataNode.dataSync.maxParallelSyncMgrTasks
| 描述 | 默认值 |
|---|---|
| 数据节点同步管理器全局最大并发同步任务数 | 256 |
dataNode.dataSync.skipMode.enable
| 描述 | 默认值 |
|---|---|
| 支持跳过某些时间戳消息以减少 CPU 使用率 | true |
dataNode.dataSync.skipMode.skipNum
| 描述 | 默认值 |
|---|---|
| 每跳过 n 条记录消耗一个 | 4 |
dataNode.dataSync.skipMode.coldTime
| 说明 | 默认值 |
|---|---|
| 当仅剩时间戳消息持续 x 秒后,启用跳过模式 | 60 |
dataNode.segment.insertBufSize
| 描述 | 默认值 |
|---|---|
|
|
16777216 |
dataNode.segment.deleteBufBytes
| 描述 | 默认值 |
|---|---|
| 单个通道的 del 刷新最大缓冲区大小(以字节为单位),默认值为 16MB | 16777216 |
dataNode.segment.syncPeriod
| 描述 | 默认值 |
|---|---|
| 当缓冲区不为空时,同步分段的周期。 | 600 |
dataNode.memory.forceSyncEnable
| 描述 | 默认值 |
|---|---|
| 如果内存使用率过高,请设置为 true 以强制同步 | true |
dataNode.memory.forceSyncSegmentNum
| 描述 | 默认值 |
|---|---|
| 要同步的段数,缓冲区最大的段将被同步。 | 1 |
dataNode.memory.checkInterval
| 描述 | 默认值 |
|---|---|
| 检查数据节点内存使用情况的间隔,单位为毫秒 | 3000 |
dataNode.memory.forceSyncWatermark
| 描述 | 默认值 |
|---|---|
| 独立实例的内存水位线,达到该水位线时,将同步分段。 | 0.5 |
dataNode.channel.workPoolSize
| 描述 | 默认值 |
|---|---|
|
|
-1 |
dataNode.channel.updateChannelCheckpointMaxParallel
| 描述 | 默认值 |
|---|---|
|
|
10 |
dataNode.channel.updateChannelCheckpointInterval
| 描述 | 默认值 |
|---|---|
| 数据节点更新每个通道检查点的间隔时间(以秒为单位) | 60 |
dataNode.channel.updateChannelCheckpointRPCTimeout
| 描述 | 默认值 |
|---|---|
| UpdateChannelCheckpoint RPC 调用的超时时间(以秒为单位) | 20 |
dataNode.channel.maxChannelCheckpointsPerPRC
| 说明 | 默认值 |
|---|---|
| 每个 UpdateChannelCheckpoint RPC 调用的通道检查点最大数量。 | 128 |
dataNode.channel.channelCheckpointUpdateTickInSeconds
| 描述 | 默认值 |
|---|---|
| 通道检查点更新程序执行更新的频率(单位:秒)。 | 10 |
dataNode.import.maxConcurrentTaskNum
| 描述 | 默认值 |
|---|---|
| 允许在数据节点上并发运行的导入/预导入任务的最大数量。 | 16 |
dataNode.import.maxImportFileSizeInGB
| 描述 | 默认值 |
|---|---|
| 导入文件的最大文件大小(以 GB 为单位),此处“导入文件”指行式文件或一组列式文件。 | 16 |
dataNode.import.readBufferSizeInMB
| 描述 | 默认值 |
|---|---|
| 导入过程中,数据节点从分块管理器读取的数据块大小(单位:MB)。 | 16 |
dataNode.import.maxTaskSlotNum
| 描述 | 默认值 |
|---|---|
| 每个导入/预导入任务所占用的槽位最大数量。 | 16 |
dataNode.compaction.levelZeroBatchMemoryRatio
| 描述 | 默认值 |
|---|---|
| 在批处理模式下执行零级压缩时,可用内存的最小比例。 | 0.5 |
dataNode.compaction.levelZeroMaxBatchSize
| 描述 | 默认值 |
|---|---|
| 最大批处理大小指执行 L0 压缩时,一个批处理中 L1/L2 段的最大数量。默认值为 -1,小于 1 的任何值均表示无限制。有效范围:≥ 1。 | -1 |
dataNode.compaction.useMergeSort
| 说明 | 默认值 |
|---|---|
| 执行 mixCompaction 时是否启用 mergeSort 模式。 | false |
dataNode.compaction.maxSegmentMergeSort
| 说明 | 默认值 |
|---|---|
| 在 mergeSort 模式下要合并的分段最大数量。 | 30 |
dataNode.compaction.lobHoleRatioThreshold
| 描述 | 默认值 |
|---|---|
| TEXT 字段现有 LOB 文件中未使用空间比例的阈值。在压缩过程中,如果该比例低于阈值,Milvus 将复用现有 LOB 文件;如果该比例大于或等于阈值,Milvus 将把剩余的 LOB 有效载荷重写到新的 LOB 文件中以回收空间。 | 0.3 |
dataNode.gracefulStopTimeout
| 描述 | 默认值 |
|---|---|
| 秒。强制停止节点,不进行优雅停止 | 1800 |
dataNode.slot.slotCap
| 描述 | 默认值 |
|---|---|
| 允许在数据节点上并发运行的任务(例如:压缩、导入)的最大数量 | 16 |
dataNode.clusteringCompaction.memoryBufferRatio
| 描述 | 默认值 |
|---|---|
| 集群压缩的内存缓冲区比例。超过阈值的数据将被刷新到存储中。 | 0.3 |
dataNode.clusteringCompaction.workPoolSize
| 描述 | 默认值 |
|---|---|
| 单个聚簇压缩任务的工作线程池大小。 | 8 |
dataNode.bloomFilterApplyParallelFactor
| 描述 | 默认值 |
|---|---|
| 将主键应用于布隆过滤器时的并行因子,默认值为 4*CPU_CORE_NUM | 4 |
dataNode.storage.deltalog
| 描述 | 默认值 |
|---|---|
| 增量日志格式,选项:[json, parquet] | json |
dataNode.text.inlineThreshold
| 描述 | 默认值 |
|---|---|
| 用于选择 TEXT 字段值存储路径的大小阈值(单位:字节)。小于该阈值的值将内联存储在字段数据中;大于或等于该阈值的值将作为 LOB 有效载荷单独存储,而字段数据中则存储一个内部引用。 | 65536 |
dataNode.text.maxLobFileBytes
| 描述 | 默认值 |
|---|---|
| 存储 TEXT 有效载荷的单个 LOB 文件的最大大小(以字节为单位)。当 LOB 文件达到此大小时,Milvus 会将后续的 TEXT LOB 有效载荷写入另一个 LOB 文件。 | 67108864 |
dataNode.text.flushThresholdBytes
| 描述 | 默认值 |
|---|---|
| 触发 Milvus 将缓冲的 TEXT LOB 有效载荷从增长段刷新到存储的缓冲区大小阈值(以字节为单位)。 | 16777216 |
dataNode.ip
| 描述 | 默认值 |
|---|---|
| dataNode 的 TCP/IP 地址。如果未指定,则使用第一个可单播地址 |
dataNode.port
| 描述 | 默认值 |
|---|---|
| dataNode 的 TCP 端口 | 21124 |
dataNode.grpc.serverMaxSendSize
| 描述 | 默认值 |
|---|---|
| dataNode 可发送的每个 RPC 请求的最大大小,单位:字节 | 536870912 |
dataNode.grpc.serverMaxRecvSize
| 描述 | 默认值 |
|---|---|
| dataNode 可以接收的每个 RPC 请求的最大大小,单位:字节 | 268435456 |
dataNode.grpc.clientMaxSendSize
| 描述 | 默认值 |
|---|---|
| dataNode 上的客户端可发送的每个 RPC 请求的最大大小,单位:字节 | 268435456 |
dataNode.grpc.clientMaxRecvSize
| 描述 | 默认值 |
|---|---|
| dataNode 上的客户端可接收的每个 RPC 请求的最大大小,单位:字节 | 536870912 |