数据相关配置
dataCoord.channel.watchTimeoutInterval
说明 | 默认值 |
---|---|
观察通道的超时(秒)。数据节点 tickler 更新观察进度将重置超时计时器。 | 300 |
dataCoord.channel.balanceWithRpc
说明 | 默认值 |
---|---|
是否通过 RPC 启用平衡,默认使用 etcd 监视 | 为真 |
dataCoord.channel.legacyVersionWithoutRPCWatch
说明 | 默认值 |
---|---|
<= 此版本的数据节点被视为传统节点,没有基于 RPC 的 watch()。只有在滚动升级时才会使用,此时传统节点不会获得新通道 | 2.4.1 |
dataCoord.channel.balanceSilentDuration
说明 | 默认值 |
---|---|
通道管理器开始后台通道平衡的持续时间 | 300 |
dataCoord.channel.balanceInterval
说明 | 默认值 |
---|---|
频道管理器检查 dml 频道平衡状态的时间间隔 | 360 |
dataCoord.channel.checkInterval
说明 | 默认值 |
---|---|
通道管理器前进通道状态的时间间隔(以秒为单位 | 1 |
dataCoord.channel.notifyChannelOperationTimeout
说明 | 默认值 |
---|---|
通道操作通知超时(秒)。 | 5 |
dataCoord.segment.maxSize
说明 | 默认值 |
---|---|
数据段的最大大小,单位:MB:datacoord.segment.maxSize 和 datacoord.segment.sealProportion 共同决定是否可以封存段。 | 1024 |
dataCoord.segment.diskSegmentMaxSize
说明 | 默认值 |
---|---|
对于有磁盘索引的集合,段的最大大小(MB | 2048 |
dataCoord.segment.sealProportion
说明 | 默认值 |
---|---|
datacoord.segment.maxSize 与 datacoord.segment.sealProportion 的最小比例,用于封存数据段。datacoord.segment.maxSize 和 datacoord.segment.sealProportion 共同决定是否可以封存数据段。 | 0.12 |
dataCoord.segment.assignmentExpiration
说明 | 默认值 |
---|---|
段分配的过期时间,单位:毫秒 | 2000 |
dataCoord.segment.allocLatestExpireAttempt
说明 | 默认值 |
---|---|
重启后尝试从 rootCoord 分配最新 lastExpire 的时间 | 200 |
dataCoord.segment.maxLife
说明 | 默认值 |
---|---|
段的最大生命周期(秒),24*60*60 | 86400 |
dataCoord.segment.maxIdleTime
说明 | 默认值 |
---|---|
|
600 |
dataCoord.segment.minSizeFromIdleToSealed
说明 | 默认值 |
---|---|
从密封到空闲的最小分段大小(MB)。 | 16 |
dataCoord.segment.maxBinlogFileNumber
说明 | 默认值 |
---|---|
|
32 |
dataCoord.segment.smallProportion
说明 | 默认值 |
---|---|
当段的行数小于 | 0.5 |
dataCoord.segment.compactableProportion
说明 | 默认值 |
---|---|
|
0.85 |
dataCoord.segment.expansionRate
说明 | 默认值 |
---|---|
|
1.25 |
dataCoord.sealPolicy.channel.growingSegmentsMemSize
说明 | 默认值 |
---|---|
|
4096 |
dataCoord.autoUpgradeSegmentIndex
说明 | 默认值 |
---|---|
是否将分段索引自动升级为索引引擎版本 | 假 |
dataCoord.segmentFlushInterval
说明 | 默认值 |
---|---|
对同一分段进行闪烁操作的最小间隔时间(单位:秒 | 2 |
dataCoord.enableCompaction
说明 | 默认值 |
---|---|
|
真 |
dataCoord.compaction.enableAutoCompaction
描述 | 默认值 |
---|---|
|
true |
dataCoord.compaction.clustering.enable
说明 | 默认值 |
---|---|
启用聚类压缩 | true |
dataCoord.compaction.clustering.autoEnable
说明 | 默认值 |
---|---|
启用自动聚类压缩 | 假 |
dataCoord.compaction.clustering.triggerInterval
描述 | 默认值 |
---|---|
聚类压缩触发间隔(秒 | 600 |
dataCoord.compaction.clustering.minInterval
描述 | 默认值 |
---|---|
执行一个集合的聚类压缩之间的最小间隔,以避免冗余压缩 | 3600 |
dataCoord.compaction.clustering.maxInterval
说明 | 默认值 |
---|---|
如果一个数据集的聚类压缩时间没有超过 maxInterval,则强制压缩 | 259200 |
dataCoord.compaction.clustering.newDataSizeThreshold
说明 | 默认值 |
---|---|
如果新数据大小大于 newDataSizeThreshold,则执行聚类压缩 | 512m |
dataCoord.compaction.clustering.maxTrainSizeRatio
说明 | 默认值 |
---|---|
Kmeans 训练中的最大数据大小比率,如果大于该比率,将减少采样以满足此限制 | 0.8 |
dataCoord.compaction.clustering.maxCentroidsNum
说明 | 默认值 |
---|---|
均值训练中的最大中心点数量 | 10240 |
dataCoord.compaction.clustering.minCentroidsNum
说明 | 默认值 |
---|---|
均值序列中的最小中心点数 | 16 |
dataCoord.compaction.clustering.minClusterSizeRatio
说明 | 默认值 |
---|---|
均值训练中的最小聚类大小/平均大小 | 0.01 |
dataCoord.compaction.clustering.maxClusterSizeRatio
说明 | 默认值 |
---|---|
最大聚类大小/克均值训练中的平均大小 | 10 |
dataCoord.compaction.clustering.maxClusterSize
说明 | 默认值 |
---|---|
均值训练中的最大聚类大小 | 5g |
dataCoord.compaction.levelzero.forceTrigger.minSize
描述 | 默认值 |
---|---|
强制触发零级压缩的最小大小(以字节为单位),默认为 8MB | 8388608 |
dataCoord.compaction.levelzero.forceTrigger.maxSize
说明 | 默认值 |
---|---|
强制触发零级压缩的最大字节数,默认为 64MB | 67108864 |
dataCoord.compaction.levelzero.forceTrigger.deltalogMinNum
说明 | 默认值 |
---|---|
强制触发零级压缩的最小 deltalog 文件数量 | 10 |
dataCoord.compaction.levelzero.forceTrigger.deltalogMaxNum
说明 | 默认值 |
---|---|
强制触发零级压缩的最大分录文件数,默认为 30 | 30 |
dataCoord.syncSegmentsInterval
说明 | 默认值 |
---|---|
定期同步分段的时间间隔 | 300 |
dataCoord.enableGarbageCollection
说明 | 默认值 |
---|---|
开关值,用于控制是否启用垃圾回收功能,以清除 MinIO 或 S3 服务中丢弃的数据。 | 真 |
dataCoord.gc.interval
说明 | 默认值 |
---|---|
数据协调器执行垃圾回收的时间间隔,单位:秒。 | 3600 |
dataCoord.gc.missingTolerance
说明 | 默认值 |
---|---|
未记录的二进制日志 (binlog) 文件的保留时间。为该参数设置一个合理的大值可避免错误删除新创建的缺少元数据的 binlog 文件。单位:秒。 | 86400 |
dataCoord.gc.dropTolerance
说明 | 默认值 |
---|---|
已删除段的 binlog 文件被清除前的保留时间,单位:秒。 | 10800 |
dataCoord.gc.removeConcurrent
说明 | 默认值 |
---|---|
删除已删除 s3 对象的并发程序数 | 32 |
dataCoord.gc.scanInterval
说明 | 默认值 |
---|---|
对象存储上的孤儿文件(文件在 oss 上,但尚未在 meta 上注册) 垃圾收集扫描间隔(小时 | 168 |
dataCoord.brokerTimeout
说明 | 默认值 |
---|---|
5000ms,dataCoord 代理 rpc 超时 | 5000 |
dataCoord.autoBalance
说明 | 默认值 |
---|---|
启用自动平衡 | 真 |
dataCoord.checkAutoBalanceConfigInterval
说明 | 默认值 |
---|---|
检查自动平衡配置的时间间隔 | 10 |
dataCoord.import.filesPerPreImportTask
说明 | 默认值 |
---|---|
每个预导入任务允许的最大文件数。 | 2 |
dataCoord.import.taskRetention
说明 | 默认值 |
---|---|
已完成或已失败状态下任务的保留时间(以秒为单位)。 | 10800 |
dataCoord.import.maxSizeInMBPerImportTask
说明 | 默认值 |
---|---|
为防止生成小片段,我们将对导入的文件重新分组。该参数表示每个组(每个 ImportTask)中文件大小的总和。 | 6144 |
dataCoord.import.scheduleInterval
说明 | 默认值 |
---|---|
调度导入的时间间隔,以秒为单位。 | 2 |
dataCoord.import.checkIntervalHigh
说明 | 默认值 |
---|---|
检查导入的时间间隔(以秒为单位)设置为导入检查器的高频率。 | 2 |
dataCoord.import.checkIntervalLow
说明 | 默认值 |
---|---|
检查导入的时间间隔(以秒为单位)设置为导入检查器的低频率。 | 120 |
dataCoord.import.maxImportFileNumPerReq
说明 | 默认值 |
---|---|
单次导入请求允许的最大文件数。 | 1024 |
dataCoord.import.waitForIndex
说明 | 默认值 |
---|---|
表示导入操作是否等待索引建立完成。 | 真 |
dataCoord.gracefulStopTimeout
说明 | 默认值 |
---|---|
强制停止节点而不优雅停止 | 5 |
dataCoord.slot.clusteringCompactionUsage
说明 | 默认值 |
---|---|
聚类压缩任务的槽位使用量。 | 16 |
dataCoord.slot.mixCompactionUsage
说明 | 默认值 |
---|---|
混合压缩任务的槽位使用量。 | 8 |
dataCoord.slot.l0DeleteCompactionUsage
说明 | 默认值 |
---|---|
L0 压实作业的插槽使用量。 | 8 |
dataCoord.ip
说明 | 默认值 |
---|---|
dataCoord 的 TCP/IP 地址。如果未指定,则使用第一个单播地址 |
dataCoord.port
说明 | 默认值 |
---|---|
数据协调中心的 TCP 端口 | 13333 |
dataCoord.grpc.serverMaxSendSize
说明 | 默认值 |
---|---|
dataCoord 可以发送的每个 RPC 请求的最大大小,单位:字节 | 536870912 |
dataCoord.grpc.serverMaxRecvSize
单位:字节 | 默认值 |
---|---|
dataCoord 可以接收的每个 RPC 请求的最大大小,单位:字节 | 268435456 |
dataCoord.grpc.clientMaxSendSize
单位:字节 | 默认值 |
---|---|
dataCoord 客户端可发送的每个 RPC 请求的最大大小,单位:字节 | 268435456 |
dataCoord.grpc.clientMaxRecvSize
单位:字节 | 默认值 |
---|---|
dataCoord 客户端可接收的每个 RPC 请求的最大大小,单位:字节 | 536870912 |