与 dataCoord 相关的配置

dataCoord.channel.watchTimeoutInterval

描述 默认值
监听通道的超时时间(单位:秒)。Datanode 提醒程序更新监听进度时,将重置超时计时器。 300

dataCoord.channel.legacyVersionWithoutRPCWatch

描述 默认值
版本号小于等于该版本的数据节点被视为旧版节点,这些节点不支持基于 RPC 的 watch() 功能。此选项仅在滚动升级过程中使用,此时旧版节点将无法获取新频道 2.4.1

dataCoord.channel.balanceSilentDuration

描述 默认值
通道管理器开始进行后台通道平衡所需的延迟时间 300

dataCoord.channel.balanceInterval

描述 默认值
通道管理器检查 DML 通道平衡状态的间隔时间 360

dataCoord.channel.checkInterval

描述 默认值
通道管理器更新通道状态的时间间隔(以秒为单位) 1

dataCoord.channel.notifyChannelOperationTimeout

描述 默认值
通道操作通知超时时间(单位:秒)。 5

dataCoord.segment.maxSize

描述 默认值
分段的最大大小,单位:MB。datacoord.segment.maxSize 和 datacoord.segment.sealProportion 共同决定一个分段是否可以被封存。 1024

dataCoord.segment.diskSegmentMaxSize

描述 默认值
具有磁盘索引的Collection中,分段的最大大小(单位:MB) 2048

dataCoord.segment.sealProportion

说明 默认值
封存一个分段所需的 datacoord.segment.maxSize 的最小比例。datacoord.segment.maxSize 和 datacoord.segment.sealProportion 共同决定一个分段是否可以被封存。 0.12

dataCoord.segment.sealProportionJitter

描述 默认值
分段封存比例的抖动比率,默认值为 0.1(10%);如果封存比例为 12%,且抖动值为 0.1,则实际应用的比例将为 10.8~12% 0.1

dataCoord.segment.assignmentExpiration

描述 默认值
段分配的过期时间,单位:毫秒 2000

dataCoord.segment.allocLatestExpireAttempt

描述 默认值
重启后尝试从 rootCoord 分配最新 lastExpire 的时间间隔 200

dataCoord.segment.maxLife

描述 默认值
分段的最大生存时间(以秒为单位),即 24×60×60 86400

dataCoord.segment.maxIdleTime

描述 默认值
  • 如果某个分段在 maxIdleTime 内未接受任何 DML 记录,且该分段的大小大于
  • minSizeFromIdleToSealed,Milvus 将自动将其封存。
  • 分段的最大空闲时间(以秒为单位),10*60。
  • 600

    dataCoord.segment.minSizeFromIdleToSealed

    描述 默认值
    段从密封状态转为空闲所需的最小大小(以 MB 为单位)。 16

    dataCoord.segment.maxBinlogFileNumber

    描述 默认值
  • 一个分段的二进制日志最大数量(等于主键的二进制日志文件数),
  • 当二进制日志文件数量达到最大值时,该分段将被密封。
  • 32

    dataCoord.segment.smallProportion

    描述 默认值
    当分区的行数小于 0.5

    dataCoord.segment.compactableProportion

    说明 默认值
  • (smallProportion * 该分段的最大行数)。
  • 如果紧凑化后的分段行数将达到
  • 0.85

    dataCoord.segment.expansionRate

    说明 默认值
  • 超过 (compactableProportion * 段最大行数) 行。
  • 必须大于或等于 !!!
  • 在压缩过程中,第#行段的大小可以超过段的最大行数,超出幅度为(expansionRate-1) * 100%。
  • 1.25

    dataCoord.sealPolicy.channel.growingSegmentsMemSize

    描述 默认值
  • 以 MB 为单位的阈值,如果每个分片的增长分段的总大小
  • 超过此阈值,则最大的增长分段将被封存。
  • 4096

    dataCoord.autoUpgradeSegmentIndex

    描述 默认值
    是否自动将分片索引升级到索引引擎的版本 false

    dataCoord.segmentFlushInterval

    描述 默认值
    同一分段上两次刷新操作之间的最小间隔时间(单位:秒) 2

    dataCoord.enableCompaction

    描述 默认值
  • 开关值,用于控制是否启用分段压缩。
  • 压缩操作会将小段合并为大段,并清除那些已超过“时间旅行”保留期限的已删除实体。
  • true

    dataCoord.compaction.enableAutoCompaction

    描述 默认值
  • 此开关值用于控制是否启用自动分段压缩,在此过程中,Data coord 会在后台定位并合并可压缩的分段。
  • 只有当 dataCoord.enableCompaction 设置为 true 时,此配置才生效。
  • true

    dataCoord.compaction.storageVersion.enabled

    描述 默认值
    紧凑操作是否可以将符合条件的现有数据重写到当前存储版本。此参数可刷新。 true

    dataCoord.compaction.bumpSchemaVersion.enabled

    描述 默认值
    紧凑操作是否可以将Schema版本变更应用到现有数据,包括对新添加函数生成的字段进行回填。此参数可刷新。 false

    dataCoord.compaction.taskPrioritizer

    描述 默认值
  • 压缩任务优先级设置,选项:[default, level, mix]。
  • 默认值为 FIFO。
  • “level” 按级别优先:首先进行 L0 压缩,然后是混合压缩,最后是聚类压缩。
  • “mix” 按级别优先:先进行混合压缩,然后是 L0 压缩,最后是聚类压缩。
  • 默认

    dataCoord.compaction.taskQueueCapacity

    描述 默认值
    压缩任务队列大小 100000

    dataCoord.compaction.dropTolerance

    描述 默认值
    如果压缩任务完成时间超过此时间(以秒为单位),该任务将被清理 86400

    dataCoord.compaction.gcInterval

    描述 默认值
    紧凑型垃圾回收的时间间隔(以秒为单位) 1800

    dataCoord.compaction.mix.triggerInterval

    说明 默认值
    触发混合压缩的时间间隔(以秒为单位) 60

    dataCoord.compaction.levelzero.triggerInterval

    说明 默认值
    触发 L0 压缩所需的时间间隔(以秒为单位) 10

    dataCoord.compaction.levelzero.forceTrigger.minSize

    描述 默认值
    强制触发 LevelZero 压缩所需的最小大小(以字节为单位),默认值为 8MB 8388608

    dataCoord.compaction.levelzero.forceTrigger.maxSize

    描述 默认值
    强制触发 LevelZero 压缩的最大大小(以字节为单位),默认值为 64MB 67108864

    dataCoord.compaction.levelzero.forceTrigger.deltalogMinNum

    描述 默认值
    强制触发 LevelZero 压缩所需的最小增量日志文件数量 10

    dataCoord.compaction.levelzero.forceTrigger.deltalogMaxNum

    描述 默认值
    强制触发 LevelZero 压缩所需的 deltalog 文件最大数量,默认值为 30 30

    dataCoord.compaction.single.ratio.threshold

    描述 默认值
    触发单次压缩的分段比例阈值,默认值为 0.2 0.2

    dataCoord.compaction.single.deltalog.maxsize

    描述 默认值
    触发单次压缩的分段增量日志大小,默认值为 16MB 16777216

    dataCoord.compaction.single.deltalog.maxnum

    描述 默认值
    一个分段需要累积多少个增量日志条目才会触发一次压缩,默认值为 200 200

    dataCoord.compaction.single.expiredlog.maxsize

    描述 默认值
    触发分段压缩所需的过期日志大小,默认值为 10MB 10485760

    dataCoord.compaction.clustering.enable

    描述 默认值
    启用集群压缩 true

    dataCoord.compaction.clustering.autoEnable

    描述 默认值
    启用自动集群压缩 false

    dataCoord.compaction.clustering.triggerInterval

    描述 默认值
    聚簇压缩触发间隔(以秒为单位) 600

    dataCoord.compaction.clustering.minInterval

    描述 默认值
    同一Collection中聚簇压缩执行之间的最小间隔,用于避免冗余压缩 3600

    dataCoord.compaction.clustering.maxInterval

    描述 默认值
    如果某个 Collection 超过 maxInterval 时间未进行集群压缩,则强制执行压缩 259200

    dataCoord.compaction.clustering.newDataSizeThreshold

    描述 默认值
    如果新数据大小大于 newDataSizeThreshold,则执行集群压缩 512m

    dataCoord.compaction.clustering.maxTrainSizeRatio

    描述 默认值
    K-means 训练中的最大数据大小比率,如果超过该值,将进行下采样以满足此限制 0.8

    dataCoord.compaction.clustering.maxCentroidsNum

    描述 默认值
    K-means 训练中的最大聚类中心数量 10240

    dataCoord.compaction.clustering.minCentroidsNum

    说明 默认值
    K-means 训练中的最小聚类中心数目 16

    dataCoord.compaction.clustering.minClusterSizeRatio

    说明 默认值
    K-means 训练中的最小簇大小 / 平均簇大小 0.01

    dataCoord.compaction.clustering.maxClusterSizeRatio

    描述 默认值
    K-means 训练中的最大簇大小 / 平均大小 10

    dataCoord.compaction.clustering.maxClusterSize

    说明 默认值
    K-means 训练中的最大簇大小 5g

    dataCoord.syncSegmentsInterval

    说明 默认值
    定期同步分段的时间间隔 300

    dataCoord.index.memSizeEstimateMultiplier

    描述 默认值
    当内存大小未通过索引过程设置时,用于估算索引数据内存大小的倍数 2

    dataCoord.enableGarbageCollection

    描述 默认值
    用于控制是否启用垃圾回收以清除 MinIO 或 S3 服务中已丢弃数据的开关值。 true

    dataCoord.gc.interval

    描述 默认值
    Data coord执行垃圾回收的间隔,单位:秒。 3600

    dataCoord.gc.missingTolerance

    描述 默认值
    未记录的二进制日志 (binlog) 文件的保留时长。为该参数设置一个合理较大的值,可避免误删缺乏元数据的新创建二进制日志文件。单位:秒。 86400

    dataCoord.gc.dropTolerance

    描述 默认值
    已删除段的二进制日志文件在被清除前的保留时长,单位:秒。 10800

    dataCoord.gc.removeConcurrent

    描述 默认值
    用于删除已删除 S3 对象的并发 goroutine 数量 32

    dataCoord.gc.scanInterval

    描述 默认值
    对象存储垃圾回收中,孤立文件(位于 OSS 上但未在元数据中注册的文件)的扫描间隔(单位:小时) 168

    dataCoord.gc.lob.enabled

    描述 默认值
    是否为 TEXT 字段值创建的、未被引用的 LOB 文件启用垃圾回收。 true

    dataCoord.gc.lob.safetyWindow

    描述 默认值
    未被引用的 TEXT LOB 文件必须达到的最小存留时间(以秒为单位),垃圾回收才能将其删除。 3600

    dataCoord.gc.lob.checkInterval

    描述 默认值
    Milvus 扫描存储以查找为 TEXT 字段值创建的未被引用的 LOB 文件的间隔(单位:秒)。 1800

    dataCoord.brokerTimeout

    描述 默认值
    5000毫秒,dataCoord 代理 RPC 超时 5000

    dataCoord.autoBalance

    描述 默认值
    启用自动负载均衡 true

    dataCoord.checkAutoBalanceConfigInterval

    描述 默认值
    检查自动平衡配置的间隔 10

    dataCoord.import.filesPerPreImportTask

    描述 默认值
    每个预导入任务允许的文件最大数量。 2

    dataCoord.import.taskRetention

    描述 默认值
    处于“已完成”或“失败”状态的任务的保留时间(以秒为单位)。 10800

    dataCoord.import.maxSizeInMBPerImportTask

    描述 默认值
    为避免生成过小的分段,我们将对导入的文件进行重新分组。此参数表示每个组(每个 ImportTask)中文件大小的总和。 6144

    dataCoord.import.scheduleInterval

    描述 默认值
    用于安排导入的间隔,单位为秒。 2

    dataCoord.import.checkIntervalHigh

    描述 默认值
    检查导入的间隔(以秒为单位),该值设置为高频率,用于导入检查器。 2

    dataCoord.import.checkIntervalLow

    描述 默认值
    导入检查器的检查间隔(以秒为单位)被设置为较低频率。 120

    dataCoord.import.maxImportFileNumPerReq

    描述 默认值
    单个导入请求允许的文件最大数量。 1024

    dataCoord.import.maxImportJobNum

    描述 默认值
    正在执行或待处理的导入作业的最大数量。 1024

    dataCoord.import.waitForIndex

    描述 默认值
    指示导入操作是否等待索引构建完成。 true

    dataCoord.gracefulStopTimeout

    描述 默认值
    秒。强制停止节点,不进行优雅停止 5

    dataCoord.slot.clusteringCompactionUsage

    描述 默认值
    集群压缩任务的槽位使用情况。 16

    dataCoord.slot.mixCompactionUsage

    描述 默认值
    混合压缩作业的槽位使用情况。 8

    dataCoord.slot.l0DeleteCompactionUsage

    描述 默认值
    l0 压缩作业的槽位使用情况。 8

    dataCoord.ip

    描述 默认值
    dataCoord 的 TCP/IP 地址。若未指定,则使用第一个可进行单播的地址

    dataCoord.port

    说明 默认值
    dataCoord 的 TCP 端口 13333

    dataCoord.grpc.serverMaxSendSize

    描述 默认值
    dataCoord 可发送的每个 RPC 请求的最大大小,单位:字节 536870912

    dataCoord.grpc.serverMaxRecvSize

    描述 默认值
    dataCoord 可以接收的每个 RPC 请求的最大大小,单位:字节 268435456

    dataCoord.grpc.clientMaxSendSize

    描述 默认值
    dataCoord 上的客户端可发送的每个 RPC 请求的最大大小,单位:字节 268435456

    dataCoord.grpc.clientMaxRecvSize

    描述 默认值
    dataCoord 上的客户端可接收的每个 RPC 请求的最大大小,单位:字节 536870912

    翻译自DeepL

    目录

    想要更快、更简单、更好用的 Milvus SaaS服务 ?

    Zilliz Cloud是基于Milvus的全托管向量数据库,拥有更高性能,更易扩展,以及卓越性价比

    免费试用 Zilliz Cloud
    反馈

    此页对您是否有帮助?