与 dataNode 相关的配置

dataNode.dataSync.flowGraph.maxQueueLength

说明 默认值
流图中任务队列的最大长度 16

dataNode.dataSync.flowGraph.maxParallelism

描述 默认值
流程图中并行执行的任务最大数量 1024

dataNode.dataSync.maxParallelSyncMgrTasks

描述 默认值
数据节点同步管理器全局最大并发同步任务数 256

dataNode.dataSync.skipMode.enable

描述 默认值
支持跳过某些时间戳消息以减少 CPU 使用率 true

dataNode.dataSync.skipMode.skipNum

描述 默认值
每跳过 n 条记录消耗一个 4

dataNode.dataSync.skipMode.coldTime

说明 默认值
当仅剩时间戳消息持续 x 秒后,启用跳过模式 60

dataNode.segment.insertBufSize

描述 默认值
  • 内存中缓冲的每个分段中,每个二进制日志文件的最大大小。大小超过此值的二进制日志文件将被刷新到 MinIO 或 S3 服务。
  • 单位:字节
  • 如果将此参数设置得过小,会导致系统过于频繁地存储少量数据;如果设置得过大,则会增加系统对内存的需求。
  • 16777216

    dataNode.segment.deleteBufBytes

    描述 默认值
    单个通道的 del 刷新最大缓冲区大小(以字节为单位),默认值为 16MB 16777216

    dataNode.segment.syncPeriod

    描述 默认值
    当缓冲区不为空时,同步分段的周期。 600

    dataNode.memory.forceSyncEnable

    描述 默认值
    如果内存使用率过高,请设置为 true 以强制同步 true

    dataNode.memory.forceSyncSegmentNum

    描述 默认值
    要同步的段数,缓冲区最大的段将被同步。 1

    dataNode.memory.checkInterval

    描述 默认值
    检查数据节点内存使用情况的间隔,单位为毫秒 3000

    dataNode.memory.forceSyncWatermark

    描述 默认值
    独立实例的内存水位线,达到该水位线时,将同步分段。 0.5

    dataNode.channel.workPoolSize

    描述 默认值
  • 指定所有通道的全局工作池大小
  • 如果此参数 <= 0,则将其设置为可执行的 CPU 最大数量
  • 建议在Collection数量较大时将其设置得更大,以避免阻塞
  • -1

    dataNode.channel.updateChannelCheckpointMaxParallel

    描述 默认值
  • 指定用于通道检查点更新的全局工作池大小
  • 如果此参数 <= 0,则将其设置为 10
  • 10

    dataNode.channel.updateChannelCheckpointInterval

    描述 默认值
    数据节点更新每个通道检查点的间隔时间(以秒为单位) 60

    dataNode.channel.updateChannelCheckpointRPCTimeout

    描述 默认值
    UpdateChannelCheckpoint RPC 调用的超时时间(以秒为单位) 20

    dataNode.channel.maxChannelCheckpointsPerPRC

    说明 默认值
    每个 UpdateChannelCheckpoint RPC 调用的通道检查点最大数量。 128

    dataNode.channel.channelCheckpointUpdateTickInSeconds

    描述 默认值
    通道检查点更新程序执行更新的频率(单位:秒)。 10

    dataNode.import.maxConcurrentTaskNum

    描述 默认值
    允许在数据节点上并发运行的导入/预导入任务的最大数量。 16

    dataNode.import.maxImportFileSizeInGB

    描述 默认值
    导入文件的最大文件大小(以 GB 为单位),此处“导入文件”指行式文件或一组列式文件。 16

    dataNode.import.readBufferSizeInMB

    描述 默认值
    导入过程中,数据节点从分块管理器读取的数据块大小(单位:MB)。 16

    dataNode.import.maxTaskSlotNum

    描述 默认值
    每个导入/预导入任务所占用的槽位最大数量。 16

    dataNode.compaction.levelZeroBatchMemoryRatio

    描述 默认值
    在批处理模式下执行零级压缩时,可用内存的最小比例。 0.5

    dataNode.compaction.levelZeroMaxBatchSize

    描述 默认值
    最大批处理大小指执行 L0 压缩时,一个批处理中 L1/L2 段的最大数量。默认值为 -1,小于 1 的任何值均表示无限制。有效范围:≥ 1。 -1

    dataNode.compaction.useMergeSort

    说明 默认值
    执行 mixCompaction 时是否启用 mergeSort 模式。 false

    dataNode.compaction.maxSegmentMergeSort

    说明 默认值
    在 mergeSort 模式下要合并的分段最大数量。 30

    dataNode.compaction.lobHoleRatioThreshold

    描述 默认值
    TEXT 字段现有 LOB 文件中未使用空间比例的阈值。在压缩过程中,如果该比例低于阈值,Milvus 将复用现有 LOB 文件;如果该比例大于或等于阈值,Milvus 将把剩余的 LOB 有效载荷重写到新的 LOB 文件中以回收空间。 0.3

    dataNode.gracefulStopTimeout

    描述 默认值
    秒。强制停止节点,不进行优雅停止 1800

    dataNode.slot.slotCap

    描述 默认值
    允许在数据节点上并发运行的任务(例如:压缩、导入)的最大数量 16

    dataNode.clusteringCompaction.memoryBufferRatio

    描述 默认值
    集群压缩的内存缓冲区比例。超过阈值的数据将被刷新到存储中。 0.3

    dataNode.clusteringCompaction.workPoolSize

    描述 默认值
    单个聚簇压缩任务的工作线程池大小。 8

    dataNode.bloomFilterApplyParallelFactor

    描述 默认值
    将主键应用于布隆过滤器时的并行因子,默认值为 4*CPU_CORE_NUM 4

    dataNode.storage.deltalog

    描述 默认值
    增量日志格式,选项:[json, parquet] json

    dataNode.text.inlineThreshold

    描述 默认值
    用于选择 TEXT 字段值存储路径的大小阈值(单位:字节)。小于该阈值的值将内联存储在字段数据中;大于或等于该阈值的值将作为 LOB 有效载荷单独存储,而字段数据中则存储一个内部引用。 65536

    dataNode.text.maxLobFileBytes

    描述 默认值
    存储 TEXT 有效载荷的单个 LOB 文件的最大大小(以字节为单位)。当 LOB 文件达到此大小时,Milvus 会将后续的 TEXT LOB 有效载荷写入另一个 LOB 文件。 67108864

    dataNode.text.flushThresholdBytes

    描述 默认值
    触发 Milvus 将缓冲的 TEXT LOB 有效载荷从增长段刷新到存储的缓冲区大小阈值(以字节为单位)。 16777216

    dataNode.ip

    描述 默认值
    dataNode 的 TCP/IP 地址。如果未指定,则使用第一个可单播地址

    dataNode.port

    描述 默认值
    dataNode 的 TCP 端口 21124

    dataNode.grpc.serverMaxSendSize

    描述 默认值
    dataNode 可发送的每个 RPC 请求的最大大小,单位:字节 536870912

    dataNode.grpc.serverMaxRecvSize

    描述 默认值
    dataNode 可以接收的每个 RPC 请求的最大大小,单位:字节 268435456

    dataNode.grpc.clientMaxSendSize

    描述 默认值
    dataNode 上的客户端可发送的每个 RPC 请求的最大大小,单位:字节 268435456

    dataNode.grpc.clientMaxRecvSize

    描述 默认值
    dataNode 上的客户端可接收的每个 RPC 请求的最大大小,单位:字节 536870912

    翻译自DeepL

    目录

    想要更快、更简单、更好用的 Milvus SaaS服务 ?

    Zilliz Cloud是基于Milvus的全托管向量数据库,拥有更高性能,更易扩展,以及卓越性价比

    免费试用 Zilliz Cloud
    反馈

    此页对您是否有帮助?