milvus-logo
LFAI
首页
  • 管理指南

数据相关配置

dataCoord.channel.watchTimeoutInterval

说明 默认值
观察通道的超时(秒)。数据节点 tickler 更新观察进度将重置超时计时器。 300

dataCoord.channel.balanceWithRpc

说明 默认值
是否通过 RPC 启用平衡,默认使用 etcd 监视 为真

dataCoord.channel.legacyVersionWithoutRPCWatch

说明 默认值
<= 此版本的数据节点被视为传统节点,没有基于 RPC 的 watch()。只有在滚动升级时才会使用,此时传统节点不会获得新通道 2.4.1

dataCoord.channel.balanceSilentDuration

说明 默认值
通道管理器开始后台通道平衡的持续时间 300

dataCoord.channel.balanceInterval

说明 默认值
频道管理器检查 dml 频道平衡状态的时间间隔 360

dataCoord.channel.checkInterval

说明 默认值
通道管理器前进通道状态的时间间隔(以秒为单位 1

dataCoord.channel.notifyChannelOperationTimeout

说明 默认值
通道操作通知超时(秒)。 5

dataCoord.segment.maxSize

说明 默认值
数据段的最大大小,单位:MB:datacoord.segment.maxSize 和 datacoord.segment.sealProportion 共同决定是否可以封存段。 1024

dataCoord.segment.diskSegmentMaxSize

说明 默认值
对于有磁盘索引的集合,段的最大大小(MB 2048

dataCoord.segment.sealProportion

说明 默认值
datacoord.segment.maxSize 与 datacoord.segment.sealProportion 的最小比例,用于封存数据段。datacoord.segment.maxSize 和 datacoord.segment.sealProportion 共同决定是否可以封存数据段。 0.12

dataCoord.segment.assignmentExpiration

说明 默认值
段分配的过期时间,单位:毫秒 2000

dataCoord.segment.allocLatestExpireAttempt

说明 默认值
重启后尝试从 rootCoord 分配最新 lastExpire 的时间 200

dataCoord.segment.maxLife

说明 默认值
段的最大生命周期(秒),24*60*60 86400

dataCoord.segment.maxIdleTime

说明 默认值
  • 如果段在 maxIdleTime 内未接受 dml 记录,且段的大小大于
  • minSizeFromIdleToSealed 时,Milvus 会自动将其封存。
  • 段的最大空闲时间,单位为秒,10*60。
  • 600

    dataCoord.segment.minSizeFromIdleToSealed

    说明 默认值
    从密封到空闲的最小分段大小(MB)。 16

    dataCoord.segment.maxBinlogFileNumber

    说明 默认值
  • 一个段的最大 binlog 文件数,如果 binlog 文件数达到最大值,该段将被封存。
  • 段将被封存。
  • 32

    dataCoord.segment.smallProportion

    说明 默认值
    当段的行数小于 0.5

    dataCoord.segment.compactableProportion

    说明 默认值
  • (smallProportion * segment max # of rows)。
  • 如果压缩后的数据段有
  • 0.85

    dataCoord.segment.expansionRate

    说明 默认值
  • 超过 (compactableProportion * segment max # of rows) 行数。
  • 必须大于或等于!!!!
  • 在压缩过程中,分段行数的大小可以超过分段最大行数的 (expansionRate-1) * 100%。
  • 1.25

    dataCoord.sealPolicy.channel.growingSegmentsMemSize

    说明 默认值
  • 以 MB 为单位的大小阈值。
  • 如果每个分片的增长分段的总大小超过此阈值,最大的增长分段将被封存。
  • 4096

    dataCoord.autoUpgradeSegmentIndex

    说明 默认值
    是否将分段索引自动升级为索引引擎版本

    dataCoord.segmentFlushInterval

    说明 默认值
    对同一分段进行闪烁操作的最小间隔时间(单位:秒 2

    dataCoord.enableCompaction

    说明 默认值
  • 控制是否启用段压缩的开关值。
  • 压缩会将较小的分段合并为一个较大的分段,并清除超出 Time Travel 租期的已删除实体。
  • dataCoord.compaction.enableAutoCompaction

    描述 默认值
  • 控制是否启用自动分段压缩的开关值,在此过程中,data coord 会在后台定位并合并可压缩的分段。
  • 此配置仅在 dataCoord.enableCompaction 设置为 true 时生效。
  • true

    dataCoord.compaction.clustering.enable

    说明 默认值
    启用聚类压缩 true

    dataCoord.compaction.clustering.autoEnable

    说明 默认值
    启用自动聚类压缩

    dataCoord.compaction.clustering.triggerInterval

    描述 默认值
    聚类压缩触发间隔(秒 600

    dataCoord.compaction.clustering.minInterval

    描述 默认值
    执行一个集合的聚类压缩之间的最小间隔,以避免冗余压缩 3600

    dataCoord.compaction.clustering.maxInterval

    说明 默认值
    如果一个数据集的聚类压缩时间没有超过 maxInterval,则强制压缩 259200

    dataCoord.compaction.clustering.newDataSizeThreshold

    说明 默认值
    如果新数据大小大于 newDataSizeThreshold,则执行聚类压缩 512m

    dataCoord.compaction.clustering.maxTrainSizeRatio

    说明 默认值
    Kmeans 训练中的最大数据大小比率,如果大于该比率,将减少采样以满足此限制 0.8

    dataCoord.compaction.clustering.maxCentroidsNum

    说明 默认值
    均值训练中的最大中心点数量 10240

    dataCoord.compaction.clustering.minCentroidsNum

    说明 默认值
    均值序列中的最小中心点数 16

    dataCoord.compaction.clustering.minClusterSizeRatio

    说明 默认值
    均值训练中的最小聚类大小/平均大小 0.01

    dataCoord.compaction.clustering.maxClusterSizeRatio

    说明 默认值
    最大聚类大小/克均值训练中的平均大小 10

    dataCoord.compaction.clustering.maxClusterSize

    说明 默认值
    均值训练中的最大聚类大小 5g

    dataCoord.compaction.levelzero.forceTrigger.minSize

    描述 默认值
    强制触发零级压缩的最小大小(以字节为单位),默认为 8MB 8388608

    dataCoord.compaction.levelzero.forceTrigger.maxSize

    说明 默认值
    强制触发零级压缩的最大字节数,默认为 64MB 67108864

    dataCoord.compaction.levelzero.forceTrigger.deltalogMinNum

    说明 默认值
    强制触发零级压缩的最小 deltalog 文件数量 10

    dataCoord.compaction.levelzero.forceTrigger.deltalogMaxNum

    说明 默认值
    强制触发零级压缩的最大分录文件数,默认为 30 30

    dataCoord.syncSegmentsInterval

    说明 默认值
    定期同步分段的时间间隔 300

    dataCoord.enableGarbageCollection

    说明 默认值
    开关值,用于控制是否启用垃圾回收功能,以清除 MinIO 或 S3 服务中丢弃的数据。

    dataCoord.gc.interval

    说明 默认值
    数据协调器执行垃圾回收的时间间隔,单位:秒。 3600

    dataCoord.gc.missingTolerance

    说明 默认值
    未记录的二进制日志 (binlog) 文件的保留时间。为该参数设置一个合理的大值可避免错误删除新创建的缺少元数据的 binlog 文件。单位:秒。 86400

    dataCoord.gc.dropTolerance

    说明 默认值
    已删除段的 binlog 文件被清除前的保留时间,单位:秒。 10800

    dataCoord.gc.removeConcurrent

    说明 默认值
    删除已删除 s3 对象的并发程序数 32

    dataCoord.gc.scanInterval

    说明 默认值
    对象存储上的孤儿文件(文件在 oss 上,但尚未在 meta 上注册) 垃圾收集扫描间隔(小时 168

    dataCoord.brokerTimeout

    说明 默认值
    5000ms,dataCoord 代理 rpc 超时 5000

    dataCoord.autoBalance

    说明 默认值
    启用自动平衡

    dataCoord.checkAutoBalanceConfigInterval

    说明 默认值
    检查自动平衡配置的时间间隔 10

    dataCoord.import.filesPerPreImportTask

    说明 默认值
    每个预导入任务允许的最大文件数。 2

    dataCoord.import.taskRetention

    说明 默认值
    已完成或已失败状态下任务的保留时间(以秒为单位)。 10800

    dataCoord.import.maxSizeInMBPerImportTask

    说明 默认值
    为防止生成小片段,我们将对导入的文件重新分组。该参数表示每个组(每个 ImportTask)中文件大小的总和。 6144

    dataCoord.import.scheduleInterval

    说明 默认值
    调度导入的时间间隔,以秒为单位。 2

    dataCoord.import.checkIntervalHigh

    说明 默认值
    检查导入的时间间隔(以秒为单位)设置为导入检查器的高频率。 2

    dataCoord.import.checkIntervalLow

    说明 默认值
    检查导入的时间间隔(以秒为单位)设置为导入检查器的低频率。 120

    dataCoord.import.maxImportFileNumPerReq

    说明 默认值
    单次导入请求允许的最大文件数。 1024

    dataCoord.import.waitForIndex

    说明 默认值
    表示导入操作是否等待索引建立完成。

    dataCoord.gracefulStopTimeout

    说明 默认值
    强制停止节点而不优雅停止 5

    dataCoord.slot.clusteringCompactionUsage

    说明 默认值
    聚类压缩任务的槽位使用量。 16

    dataCoord.slot.mixCompactionUsage

    说明 默认值
    混合压缩任务的槽位使用量。 8

    dataCoord.slot.l0DeleteCompactionUsage

    说明 默认值
    L0 压实作业的插槽使用量。 8

    dataCoord.ip

    说明 默认值
    dataCoord 的 TCP/IP 地址。如果未指定,则使用第一个单播地址

    dataCoord.port

    说明 默认值
    数据协调中心的 TCP 端口 13333

    dataCoord.grpc.serverMaxSendSize

    说明 默认值
    dataCoord 可以发送的每个 RPC 请求的最大大小,单位:字节 536870912

    dataCoord.grpc.serverMaxRecvSize

    单位:字节 默认值
    dataCoord 可以接收的每个 RPC 请求的最大大小,单位:字节 268435456

    dataCoord.grpc.clientMaxSendSize

    单位:字节 默认值
    dataCoord 客户端可发送的每个 RPC 请求的最大大小,单位:字节 268435456

    dataCoord.grpc.clientMaxRecvSize

    单位:字节 默认值
    dataCoord 客户端可接收的每个 RPC 请求的最大大小,单位:字节 536870912

    翻译自DeepLogo

    目录
    反馈

    此页对您是否有帮助?