ДанныеКонфигурации, связанные с крышей
dataCoord.channel.watchTimeoutInterval
| Описание | Значение по умолчанию |
|---|---|
| Таймаут на просмотр каналов (в секундах). При обновлении тиклеров Датанод прогресс просмотра сбрасывает таймер таймаута. | 300 |
dataCoord.channel.legacyVersionWithoutRPCWatch
| Описание | Значение по умолчанию |
|---|---|
| Датаноды <= этой версии считаются устаревшими узлами, у которых нет rpc watch(). Это значение используется только во время скользящего обновления, когда устаревшие узлы не будут получать новые каналы. | 2.4.1 |
dataCoord.channel.balanceSilentDuration
| Описание | Значение по умолчанию |
|---|---|
| Продолжительность, после которой менеджер каналов начинает фоновую балансировку каналов | 300 |
dataCoord.channel.balanceInterval
| Описание | Значение по умолчанию |
|---|---|
| Интервал, с которым менеджер каналов проверяет состояние баланса каналов dml | 360 |
dataCoord.channel.checkInterval
| Описание | Значение по умолчанию |
|---|---|
| Интервал в секундах, с которым менеджер каналов обновляет состояние каналов | 1 |
dataCoord.channel.notifyChannelOperationTimeout
| Описание | Значение по умолчанию |
|---|---|
| Таймаут уведомления об операциях с каналом (в секундах). | 5 |
dataCoord.segment.maxSize
| Описание | Значение по умолчанию |
|---|---|
| Максимальный размер сегмента, ед: МБ. datacoord.segment.maxSize и datacoord.segment.sealProportion вместе определяют, может ли сегмент быть запечатан. | 1024 |
dataCoord.segment.diskSegmentMaxSize
| Описание | Значение по умолчанию |
|---|---|
| Максимальный размер сегмента в МБ для коллекции, имеющей индекс Disk | 2048 |
dataCoord.segment.sealProportion
| Описание | Значение по умолчанию |
|---|---|
| Минимальная пропорция к datacoord.segment.maxSize для уплотнения сегмента. datacoord.segment.maxSize и datacoord.segment.sealProportion вместе определяют, может ли сегмент быть уплотнен. | 0.12 |
dataCoord.segment.sealProportionJitter
| Описание | Значение по умолчанию |
|---|---|
| коэффициент дрожания пропорции уплотнения сегмента, значение по умолчанию 0.1(10%), если пропорция уплотнения равна 12%, с дрожанием=0.1, то фактический применяемый коэффициент будет 10.8~12%. | 0.1 |
dataCoord.segment.assignmentExpiration
| Описание | Значение по умолчанию |
|---|---|
| Время истечения срока действия назначения сегмента, единица измерения: мс | 2000 |
dataCoord.segment.allocLatestExpireAttempt
| Описание | Значение по умолчанию |
|---|---|
| Время попытки выделения последнего lastExpire из rootCoord после перезапуска | 200 |
dataCoord.segment.maxLife
| Описание | Значение по умолчанию |
|---|---|
| Максимальное время жизни сегмента в секундах, 24*60*60 | 86400 |
dataCoord.segment.maxIdleTime
| Описание | Значение по умолчанию |
|---|---|
|
|
600 |
dataCoord.segment.minSizeFromIdleToSealed
| Описание | Значение по умолчанию |
|---|---|
| Минимальный размер в МБ сегмента, который может простаивать от запечатывания. | 16 |
dataCoord.segment.maxBinlogFileNumber
| Описание | Значение по умолчанию |
|---|---|
|
|
32 |
dataCoord.segment.smallProportion
| Описание | Значение по умолчанию |
|---|---|
| Сегмент считается "малым сегментом", если количество строк в нем меньше | 0.5 |
dataCoord.segment.compactableProportion
| Описание | Значение по умолчанию |
|---|---|
|
|
0.85 |
dataCoord.segment.expansionRate
| Описание | Значение по умолчанию |
|---|---|
|
|
1.25 |
dataCoord.sealPolicy.channel.growingSegmentsMemSize
| Описание | Значение по умолчанию |
|---|---|
|
|
4096 |
dataCoord.autoUpgradeSegmentIndex
| Описание | Значение по умолчанию |
|---|---|
| автоматическое обновление индекса сегмента до версии индексного движка | false |
dataCoord.segmentFlushInterval
| Описание | Значение по умолчанию |
|---|---|
| минимальная длительность интервала (единица измерения: секунды) между операциями флузинга на одном и том же сегменте | 2 |
dataCoord.enableCompaction
| Описание | Значение по умолчанию |
|---|---|
|
|
true |
dataCoord.compaction.enableAutoCompaction
| Описание | Значение по умолчанию |
|---|---|
|
|
true |
dataCoord.compaction.taskPrioritizer
| Описание | Значение по умолчанию |
|---|---|
|
|
по умолчанию |
dataCoord.compaction.taskQueueCapacity
| Описание | Значение по умолчанию |
|---|---|
| размер очереди задач уплотнения | 100000 |
dataCoord.compaction.dropTolerance
| Описание | Значение по умолчанию |
|---|---|
| Задача уплотнения будет очищена после завершения дольше этого времени (в секундах) | 86400 |
dataCoord.compaction.gcInterval
| Описание | Значение по умолчанию |
|---|---|
| Временной интервал в секундах для уплотнения gc | 1800 |
dataCoord.compaction.mix.triggerInterval
| Описание | Значение по умолчанию |
|---|---|
| Временной интервал в секундах для запуска уплотнения смеси | 60 |
dataCoord.compaction.levelzero.triggerInterval
| Описание | Значение по умолчанию |
|---|---|
| Интервал времени в секундах для запуска уплотнения L0 | 10 |
dataCoord.compaction.levelzero.forceTrigger.minSize
| Описание | Значение по умолчанию |
|---|---|
| Минимальный размер в байтах для принудительного запуска LevelZero Compaction, по умолчанию 8MB | 8388608 |
dataCoord.compaction.levelzero.forceTrigger.maxSize
| Описание | Значение по умолчанию |
|---|---|
| Максимальный размер в байтах для принудительного запуска LevelZero Compaction, по умолчанию 64MB | 67108864 |
dataCoord.compaction.levelzero.forceTrigger.deltalogMinNum
| Описание | Значение по умолчанию |
|---|---|
| Минимальное количество файлов deltalog для принудительного запуска LevelZero Compaction | 10 |
dataCoord.compaction.levelzero.forceTrigger.deltalogMaxNum
| Описание | Значение по умолчанию |
|---|---|
| Максимальное количество файлов дельталога для принудительного запуска LevelZero Compaction, по умолчанию 30 | 30 |
dataCoord.compaction.single.ratio.threshold
| Описание | Значение по умолчанию |
|---|---|
| Пороговое значение отношения сегментов для запуска одиночного уплотнения, по умолчанию 0,2 | 0.2 |
dataCoord.compaction.single.deltalog.maxsize
| Описание | Значение по умолчанию |
|---|---|
| Размер дельталога сегмента для запуска одиночного уплотнения, по умолчанию 16 МБ. | 16777216 |
dataCoord.compaction.single.deltalog.maxnum
| Описание | Значение по умолчанию |
|---|---|
| Количество дельталогов в сегменте для запуска уплотнения, по умолчанию 200 | 200 |
dataCoord.compaction.single.expiredlog.maxsize
| Описание | Значение по умолчанию |
|---|---|
| Размер журнала с истекшим сроком хранения сегмента для запуска уплотнения, по умолчанию 10 МБ. | 10485760 |
dataCoord.compaction.clustering.enable
| Описание | Значение по умолчанию |
|---|---|
| Включить уплотнение кластеризации | true |
dataCoord.compaction.clustering.autoEnable
| Описание | Значение по умолчанию |
|---|---|
| Включить автоматическое уплотнение кластеризации | false |
dataCoord.compaction.clustering.triggerInterval
| Описание | Значение по умолчанию |
|---|---|
| Интервал срабатывания кластерного уплотнения в секундах | 600 |
dataCoord.compaction.clustering.minInterval
| Описание | Значение по умолчанию |
|---|---|
| Минимальный интервал между выполнениями кластерного уплотнения одной коллекции, чтобы избежать избыточного уплотнения | 3600 |
dataCoord.compaction.clustering.maxInterval
| Описание | Значение по умолчанию |
|---|---|
| Если коллекция не была уплотнена кластеризацией дольше, чем maxInterval, принудительное уплотнение | 259200 |
dataCoord.compaction.clustering.newDataSizeThreshold
| Описание | Значение по умолчанию |
|---|---|
| Если размер новых данных больше, чем newDataSizeThreshold, выполнить кластерное уплотнение | 512m |
dataCoord.compaction.clustering.maxTrainSizeRatio
| Описание | Значение по умолчанию |
|---|---|
| максимальное отношение размера данных в обучении Kmeans, если оно больше, то выборка будет уменьшена, чтобы соответствовать этому ограничению | 0.8 |
dataCoord.compaction.clustering.maxCentroidsNum
| Описание | Значение по умолчанию |
|---|---|
| максимальное количество центроидов в Kmeans train | 10240 |
dataCoord.compaction.clustering.minCentroidsNum
| Описание | Значение по умолчанию |
|---|---|
| минимальное количество центроидов в поезде Kmeans | 16 |
dataCoord.compaction.clustering.minClusterSizeRatio
| Описание | Значение по умолчанию |
|---|---|
| минимальный размер кластера / средний размер кластера в Kmeans train | 0.01 |
dataCoord.compaction.clustering.maxClusterSizeRatio
| Описание | Значение по умолчанию |
|---|---|
| максимальный размер кластера / avg размер в Kmeans train | 10 |
dataCoord.compaction.clustering.maxClusterSize
| Описание | Значение по умолчанию |
|---|---|
| максимальный размер кластера в Kmeans train | 5g |
dataCoord.syncSegmentsInterval
| Описание | Значение по умолчанию |
|---|---|
| Интервал времени для регулярной синхронизации сегментов | 300 |
dataCoord.index.memSizeEstimateMultiplier
| Описание | Значение по умолчанию |
|---|---|
| Если размер памяти не задан процедурой индексации, множитель для оценки размера памяти индексных данных | 2 |
dataCoord.enableGarbageCollection
| Описание | Значение по умолчанию |
|---|---|
| Значение переключателя для управления включением сборки мусора для очистки отброшенных данных в службе MinIO или S3. | true |
dataCoord.gc.interval
| Описание | Значение по умолчанию |
|---|---|
| Интервал, с которым data coord выполняет сборку мусора, единица измерения: секунда. | 3600 |
dataCoord.gc.missingTolerance
| Описание | Значение по умолчанию |
|---|---|
| Продолжительность хранения незаписанных файлов двоичного журнала (binlog). Установка достаточно большого значения для этого параметра позволяет избежать ошибочного удаления вновь созданных файлов binlog, в которых отсутствуют метаданные. Единица измерения: секунда. | 86400 |
dataCoord.gc.dropTolerance
| Описание | Значение по умолчанию |
|---|---|
| Длительность хранения файлов binlog удаленных сегментов перед их очисткой, единица измерения: секунда. | 10800 |
dataCoord.gc.removeConcurrent
| Описание | Значение по умолчанию |
|---|---|
| количество одновременных горутин для удаления удаленных объектов s3 | 32 |
dataCoord.gc.scanInterval
| Описание | Значение по умолчанию |
|---|---|
| файл-сирота (файл в oss, но не зарегистрирован в meta) в хранилище объектов интервал сканирования сборки мусора в часах | 168 |
dataCoord.brokerTimeout
| Описание | Значение по умолчанию |
|---|---|
| 5000 мс, dataCoord таймаут rpc брокера | 5000 |
dataCoord.autoBalance
| Описание | Значение по умолчанию |
|---|---|
| Включить автоматический баланс | true |
dataCoord.checkAutoBalanceConfigInterval
| Описание | Значение по умолчанию |
|---|---|
| интервал проверки автобаланса | 10 |
dataCoord.import.filesPerPreImportTask
| Описание | Значение по умолчанию |
|---|---|
| Максимальное количество файлов, допустимое для одной задачи предварительного импорта. | 2 |
dataCoord.import.taskRetention
| Описание | Значение по умолчанию |
|---|---|
| Период хранения в секундах для задач в состоянии "Завершено" или "Не удалось". | 10800 |
dataCoord.import.maxSizeInMBPerImportTask
| Описание | Значение по умолчанию |
|---|---|
| Чтобы предотвратить генерацию маленьких сегментов, мы будем перегруппировывать импортируемые файлы. Этот параметр представляет собой сумму размеров файлов в каждой группе (в каждой задаче импорта). | 6144 |
dataCoord.import.scheduleInterval
| Описание | Значение по умолчанию |
|---|---|
| Интервал планирования импорта, измеряется в секундах. | 2 |
dataCoord.import.checkIntervalHigh
| Описание | Значение по умолчанию |
|---|---|
| Интервал проверки импорта, измеряемый в секундах, установлен на высокую частоту для программы проверки импорта. | 2 |
dataCoord.import.checkIntervalLow
| Описание | Значение по умолчанию |
|---|---|
| Интервал проверки импорта, измеряемый в секундах, установлен на низкую частоту для средства проверки импорта. | 120 |
dataCoord.import.maxImportFileNumPerReq
| Описание | Значение по умолчанию |
|---|---|
| Максимальное количество файлов, разрешенное для одного запроса на импорт. | 1024 |
dataCoord.import.maxImportJobNum
| Описание | Значение по умолчанию |
|---|---|
| Максимальное количество выполняющихся или ожидающих выполнения заданий импорта. | 1024 |
dataCoord.import.waitForIndex
| Описание | Значение по умолчанию |
|---|---|
| Указывает, ожидает ли операция импорта завершения построения индекса. | true |
dataCoord.gracefulStopTimeout
| Описание | Значение по умолчанию |
|---|---|
| секунд. принудительная остановка узла без изящной остановки | 5 |
dataCoord.slot.clusteringCompactionUsage
| Описание | Значение по умолчанию |
|---|---|
| использование слота для задания уплотнения кластеризации. | 16 |
dataCoord.slot.mixCompactionUsage
| Описание | Значение по умолчанию |
|---|---|
| использование слота для задания уплотнения смеси. | 8 |
dataCoord.slot.l0DeleteCompactionUsage
| Описание | Значение по умолчанию |
|---|---|
| использование слота для задания уплотнения l0. | 8 |
dataCoord.ip
| Описание | Значение по умолчанию |
|---|---|
| TCP/IP-адрес адреса dataCoord. Если не указан, используется первый одноадресный адрес. |
dataCoord.port
| Описание | Значение по умолчанию |
|---|---|
| TCP-порт dataCoord | 13333 |
dataCoord.grpc.serverMaxSendSize
| Описание | Значение по умолчанию |
|---|---|
| Максимальный размер каждого RPC-запроса, который может отправить dataCoord, единица измерения: байт | 536870912 |
dataCoord.grpc.serverMaxRecvSize
| Описание | Значение по умолчанию |
|---|---|
| Максимальный размер каждого RPC-запроса, который может получить dataCoord, единица измерения: байт | 268435456 |
dataCoord.grpc.clientMaxSendSize
| Описание | Значение по умолчанию |
|---|---|
| Максимальный размер каждого RPC-запроса, который могут отправлять клиенты на dataCoord, единица измерения: байт | 268435456 |
dataCoord.grpc.clientMaxRecvSize
| Описание | Значение по умолчанию |
|---|---|
| Максимальный размер каждого RPC-запроса, который могут получить клиенты на dataCoord, единица измерения: байт | 536870912 |