Настройки, связанные с dataCoord

dataCoord.channel.watchTimeoutInterval

Описание Значение по умолчанию
Таймаут при наблюдении за каналами (в секундах). Прогресс обновления наблюдения тиклером Datanode сбрасывает таймер таймаута. 300

dataCoord.channel.legacyVersionWithoutRPCWatch

Описание Значение по умолчанию
Datanodes версий <= этой считаются устаревшими узлами, которые не поддерживают watch() на основе RPC. Это используется только во время постепенного обновления, когда устаревшие узлы не получают новые каналы. 2.4.1

dataCoord.channel.balanceSilentDuration

Описание Значение по умолчанию
Промежуток времени, по истечении которого менеджер каналов запускает фоновую балансировку каналов 300

dataCoord.channel.balanceInterval

Описание Значение по умолчанию
Интервал, с которым менеджер каналов проверяет состояние балансировки каналов dml. 360

dataCoord.channel.checkInterval

Описание Значение по умолчанию
Интервал в секундах, с которым менеджер каналов обновляет состояния каналов. 1

dataCoord.channel.notifyChannelOperationTimeout

Описание Значение по умолчанию
Таймаут уведомлений об операциях канала (в секундах). 5

dataCoord.segment.maxSize

Описание Значение по умолчанию
Максимальный размер сегмента, единица измерения: МБ. Параметры datacoord.segment.maxSize и datacoord.segment.sealProportion совместно определяют, можно ли запечатать сегмент. 1024

dataCoord.segment.diskSegmentMaxSize

Описание Значение по умолчанию
Максимальный размер сегмента в МБ для коллекции с дисковым индексом. 2048

dataCoord.segment.sealProportion

Описание Значение по умолчанию
Минимальная доля от datacoord.segment.maxSize, необходимая для запечатывания сегмента. Параметры datacoord.segment.maxSize и datacoord.segment.sealProportion совместно определяют, можно ли запечатать сегмент. 0,12

dataCoord.segment.sealProportionJitter

Описание Значение по умолчанию
Коэффициент джиттера доли запечатывания сегмента, значение по умолчанию 0,1 (10 %); если доля запечатывания составляет 12 %, а джиттер = 0,1, фактически применяемый коэффициент будет составлять 10,8–12 % 0,1

dataCoord.segment.assignmentExpiration

Описание Значение по умолчанию
Время истечения назначения сегмента, единица измерения: мс 2000

dataCoord.segment.allocLatestExpireAttempt

Описание Значение по умолчанию
Время, в течение которого после перезапуска будет предприниматься попытка выделить последнее значение lastExpire из rootCoord. 200

dataCoord.segment.maxLife

Описание Значение по умолчанию
Максимальный срок жизни сегмента в секундах: 24*60*60 86400

dataCoord.segment.maxIdleTime

Описание Значение по умолчанию
  • Если сегмент не принимал записи DML в течение maxIdleTime, а его размер превышает
  • minSizeFromIdleToSealed, Milvus автоматически запечатает его.
  • Максимальное время простоя сегмента в секундах: 10*60.
  • 600

    dataCoord.segment.minSizeFromIdleToSealed

    Описание Значение по умолчанию
    Минимальный размер сегмента в МБ, при котором он может перейти из состояния запечатанного в состояние простоя. 16

    dataCoord.segment.maxBinlogFileNumber

    Описание Значение по умолчанию
  • Максимальное количество файлов бинарного журнала (которое равно количеству файлов бинарного журнала первичного ключа) для одного сегмента;
  • сегмент будет запечатан, если количество файлов бинарного журнала достигнет максимального значения.
  • 32

    dataCoord.segment.smallProportion

    Описание Значение по умолчанию
    Сегмент считается «небольшим», если количество строк в нём меньше 0,5

    dataCoord.segment.compactableProportion

    Описание Значение по умолчанию
  • (smallProportion * максимальное количество строк в сегменте).
  • Уплотнение будет выполняться для небольших сегментов, если после уплотнения сегмент будет иметь
  • 0,85

    dataCoord.segment.expansionRate

    Описание Значение по умолчанию
  • более (доля, подлежащая уплотнению * максимальное количество строк в сегменте) строк.
  • ДОЛЖНО БЫТЬ БОЛЬШЕ ИЛИ РАВНО !!!
  • Во время уплотнения размер сегмента по количеству строк может превышать максимальное количество строк в сегменте на (expansionRate-1) * 100%.
  • 1,25

    dataCoord.sealPolicy.channel.growingSegmentsMemSize

    Описание Значение по умолчанию
  • Пороговое значение размера в МБ; если общий размер растущих сегментов каждого шарда
  • превышает этот порог, самый большой растущий сегмент будет запечатан.
  • 4096

    dataCoord.autoUpgradeSegmentIndex

    Описание Значение по умолчанию
    определяет, следует ли автоматически обновлять индекс сегмента до версии индексного движка false

    dataCoord.segmentFlushInterval

    Описание Значение по умолчанию
    Минимальная продолжительность интервала (единица измерения: секунды) между операциями сброса данных в одном и том же сегменте 2

    dataCoord.enableCompaction

    Описание Значение по умолчанию
  • Значение переключателя, определяющее, следует ли включить уплотнение сегментов.
  • Уплотнение объединяет сегменты небольшого размера в один большой сегмент и удаляет объекты, срок хранения которых в Time Travel истек.
  • true

    dataCoord.compaction.enableAutoCompaction

    Описание Значение по умолчанию
  • Значение переключателя, определяющее, следует ли включить автоматическую уплотнение сегментов, в ходе которой data coord в фоновом режиме находит и объединяет сегменты, подлежащие уплотнению.
  • Эта настройка вступает в силу только в том случае, если для параметра dataCoord.enableCompaction установлено значение true.
  • true

    dataCoord.compaction.storageVersion.enabled

    Описание Значение по умолчанию
    Позволяет ли уплотнение перезаписывать подходящие существующие данные в текущую версию хранилища. Этот параметр можно обновлять. true

    dataCoord.compaction.bumpSchemaVersion.enabled

    Описание Значение по умолчанию
    Указывает, может ли уплотнение применять изменения версии схемы к существующим данным, включая заполнение полей, сгенерированных недавно добавленной функцией. Этот параметр можно обновлять. false

    dataCoord.compaction.taskPrioritizer

    Описание Значение по умолчанию
  • Приоритет задачи уплотнения, варианты: [default, level, mix].
  • Значение по умолчанию — FIFO.
  • level — приоритет определяется по уровню: сначала уплотнения L0, затем смешанные уплотнения, затем кластерные уплотнения.
  • «mix» — приоритет определяется уровнем: сначала уплотнения mix, затем уплотнения L0, затем уплотнения кластеризации.
  • по умолчанию

    dataCoord.compaction.taskQueueCapacity

    Описание Значение по умолчанию
    Размер очереди задач уплотнения 100000

    dataCoord.compaction.dropTolerance

    Описание Значение по умолчанию
    Задача уплотнения будет удалена по истечении времени (в секундах), превышающего указанное значение 86400

    dataCoord.compaction.gcInterval

    Описание Значение по умолчанию
    Интервал времени в секундах для сборки мусора при уплотнении данных. 1800

    dataCoord.compaction.mix.triggerInterval

    Описание Значение по умолчанию
    Интервал времени в секундах для запуска уплотнения смеси 60

    dataCoord.compaction.levelzero.triggerInterval

    Описание Значение по умолчанию
    Интервал времени в секундах для запуска уплотнения L0 10

    dataCoord.compaction.levelzero.forceTrigger.minSize

    Описание Значение по умолчанию
    Минимальный размер в байтах, при достижении которого запускается уплотнение LevelZero; по умолчанию — 8 МБ 8388608

    dataCoord.compaction.levelzero.forceTrigger.maxSize

    Описание Значение по умолчанию
    Максимальный размер в байтах, при достижении которого принудительно запускается уплотнение LevelZero; значение по умолчанию — 64 МБ. 67108864

    dataCoord.compaction.levelzero.forceTrigger.deltalogMinNum

    Описание Значение по умолчанию
    Минимальное количество файлов deltalog, при котором принудительно запускается уплотнение LevelZero. 10

    dataCoord.compaction.levelzero.forceTrigger.deltalogMaxNum

    Описание Значение по умолчанию
    Максимальное количество файлов deltalog, при котором принудительно запускается уплотнение LevelZero; значение по умолчанию — 30. 30

    dataCoord.compaction.single.ratio.threshold

    Описание Значение по умолчанию
    Пороговое соотношение сегмента, при котором запускается однократная уплотнение; значение по умолчанию — 0,2. 0,2

    dataCoord.compaction.single.deltalog.maxsize

    Описание Значение по умолчанию
    Размер журнала дельты сегмента, при достижении которого запускается однократная уплотнение; значение по умолчанию — 16 МБ 16777216

    dataCoord.compaction.single.deltalog.maxnum

    Описание Значение по умолчанию
    Количество дельта-журналов сегмента, при достижении которого запускается уплотнение; по умолчанию — 200. 200

    dataCoord.compaction.single.expiredlog.maxsize

    Описание Значение по умолчанию
    Размер устаревшего журнала сегмента, при достижении которого запускается уплотнение; значение по умолчанию — 10 МБ. 10485760

    dataCoord.compaction.clustering.enable

    Описание Значение по умолчанию
    Включить уплотнение кластеров true

    dataCoord.compaction.clustering.autoEnable

    Описание Значение по умолчанию
    Включить автоматическую уплотнение кластеров false

    dataCoord.compaction.clustering.triggerInterval

    Описание Значение по умолчанию
    Интервал запуска уплотнения кластеров в секундах 600

    dataCoord.compaction.clustering.minInterval

    Описание Значение по умолчанию
    Минимальный интервал между выполнениями уплотнения кластеров для одной коллекции, позволяющий избежать избыточного уплотнения 3600

    dataCoord.compaction.clustering.maxInterval

    Описание Значение по умолчанию
    Если кластеризованная уплотнение коллекции не выполнялось дольше, чем maxInterval, принудительно выполнить уплотнение 259200

    dataCoord.compaction.clustering.newDataSizeThreshold

    Описание Значение по умолчанию
    Если размер новых данных превышает newDataSizeThreshold, выполнить уплотнение кластеров 512 м

    dataCoord.compaction.clustering.maxTrainSizeRatio

    Описание Значение по умолчанию
    Максимальное соотношение размера данных при обучении методом K-средних; если оно превышает указанное значение, выполняется понижение разрешения для соблюдения этого ограничения 0,8

    dataCoord.compaction.clustering.maxCentroidsNum

    Описание Значение по умолчанию
    Максимальное количество центроидов при обучении методом K-средних 10240

    dataCoord.compaction.clustering.minCentroidsNum

    Описание Значение по умолчанию
    Минимальное количество центроидов при обучении методом K-средних 16

    dataCoord.compaction.clustering.minClusterSizeRatio

    Описание Значение по умолчанию
    Минимальный размер кластера / средний размер при обучении методом K-средних 0,01

    dataCoord.compaction.clustering.maxClusterSizeRatio

    Описание Значение по умолчанию
    максимальный размер кластера / средний размер при обучении методом K-средних 10

    dataCoord.compaction.clustering.maxClusterSize

    Описание Значение по умолчанию
    максимальный размер кластера при обучении методом K-средних 5g

    dataCoord.syncSegmentsInterval

    Описание Значение по умолчанию
    Интервал времени для регулярной синхронизации сегментов 300

    dataCoord.index.memSizeEstimateMultiplier

    Описание Значение по умолчанию
    Если размер памяти не настроен процедурой индексации, коэффициент для расчета размера памяти, необходимой для данных индекса 2

    dataCoord.enableGarbageCollection

    Описание Значение по умолчанию
    Значение переключателя, определяющее, следует ли включить сборку мусора для очистки отброшенных данных в сервисе MinIO или S3. true

    dataCoord.gc.interval

    Описание Значение по умолчанию
    Интервал, с которым data coord выполняет сборку мусора, единица измерения: секунда. 3600

    dataCoord.gc.missingTolerance

    Описание Значение по умолчанию
    Продолжительность хранения незаписанных файлов двоичного журнала (binlog). Установка достаточно большого значения для этого параметра позволяет избежать ошибочного удаления вновь созданных файлов binlog, в которых отсутствуют метаданные. Единица измерения: секунда. 86400

    dataCoord.gc.dropTolerance

    Описание Значение по умолчанию
    Срок хранения файлов binlog удаленных сегментов до их очистки, единица измерения: секунда. 10800

    dataCoord.gc.removeConcurrent

    Описание Значение по умолчанию
    количество параллельных goroutine для удаления удаленных объектов S3 32

    dataCoord.gc.scanInterval

    Описание Значение по умолчанию
    интервал сканирования для очистки «сиротских» файлов (файлов, находящихся в OSS, но не зарегистрированных в метаданных) в хранилище объектов, в часах 168

    dataCoord.gc.lob.enabled

    Описание Значение по умолчанию
    Включить ли очистку неиспользуемых файлов LOB, созданных для значений поля TEXT. true

    dataCoord.gc.lob.safetyWindow

    Описание Значение по умолчанию
    Минимальный срок хранения (в секундах), по истечении которого файл LOB типа TEXT без ссылок может быть удален в ходе сборки мусора. 3600

    dataCoord.gc.lob.checkInterval

    Описание Значение по умолчанию
    Интервал (в секундах), с которым Milvus сканирует хранилище в поисках неиспользуемых файлов LOB, созданных для значений полей TEXT. 1800

    dataCoord.brokerTimeout

    Описание Значение по умолчанию
    5000 мс, таймаут RPC-запроса брокера dataCoord 5000

    dataCoord.autoBalance

    Описание Значение по умолчанию
    Включить автоматическую балансировку true

    dataCoord.checkAutoBalanceConfigInterval

    Описание Значение по умолчанию
    Интервал проверки настроек автоматической балансировки 10

    dataCoord.import.filesPerPreImportTask

    Описание Значение по умолчанию
    Максимальное количество файлов, разрешенное для одной задачи предварительной импорта. 2

    dataCoord.import.taskRetention

    Описание Значение по умолчанию
    Период хранения в секундах для задач в состоянии «Завершено» или «Сбой». 10800

    dataCoord.import.maxSizeInMBPerImportTask

    Описание Значение по умолчанию
    Чтобы избежать создания мелких сегментов, мы будем перегруппировывать импортируемые файлы. Этот параметр представляет собой сумму размеров файлов в каждой группе (каждой задаче ImportTask). 6144

    dataCoord.import.scheduleInterval

    Описание Значение по умолчанию
    Интервал планирования импорта, измеряемый в секундах. 2

    dataCoord.import.checkIntervalHigh

    Описание Значение по умолчанию
    Интервал проверки импорта, измеряемый в секундах, установлен на высокую частоту для средства проверки импорта. 2

    dataCoord.import.checkIntervalLow

    Описание Значение по умолчанию
    Интервал проверки импорта, измеряемый в секундах, установлен на низкую частоту для средства проверки импорта. 120

    dataCoord.import.maxImportFileNumPerReq

    Описание Значение по умолчанию
    Максимальное количество файлов, разрешенное для одного запроса на импорт. 1024

    dataCoord.import.maxImportJobNum

    Описание Значение по умолчанию
    Максимальное количество заданий импорта, которые выполняются или находятся в очереди. 1024

    dataCoord.import.waitForIndex

    Описание Значение по умолчанию
    Указывает, ожидает ли операция импорта завершения построения индекса. true

    dataCoord.gracefulStopTimeout

    Описание Значение по умолчанию
    секунд. Принудительная остановка узла без плавного завершения работы 5

    dataCoord.slot.clusteringCompactionUsage

    Описание Значение по умолчанию
    Использование слотов заданием уплотнения кластера. 16

    dataCoord.slot.mixCompactionUsage

    Описание Значение по умолчанию
    Использование слотов заданием уплотнения смешанного типа. 8

    dataCoord.slot.l0DeleteCompactionUsage

    Описание Значение по умолчанию
    Использование слотов заданием уплотнения l0. 8

    dataCoord.ip

    Описание Значение по умолчанию
    TCP/IP-адрес dataCoord. Если не указан, используется первый адрес, поддерживающий одноадресную передачу

    dataCoord.port

    Описание Значение по умолчанию
    TCP-порт dataCoord 13333

    dataCoord.grpc.serverMaxSendSize

    Описание Значение по умолчанию
    Максимальный размер каждого RPC-запроса, который может отправить dataCoord, единица измерения: байт 536870912

    dataCoord.grpc.serverMaxRecvSize

    Описание Значение по умолчанию
    Максимальный размер каждого RPC-запроса, который может принимать dataCoord, единица измерения: байт 268435456

    dataCoord.grpc.clientMaxSendSize

    Описание Значение по умолчанию
    Максимальный размер каждого RPC-запроса, который могут отправлять клиенты на dataCoord, единица измерения: байт 268435456

    dataCoord.grpc.clientMaxRecvSize

    Описание Значение по умолчанию
    Максимальный размер каждого RPC-запроса, который могут принимать клиенты на dataCoord, единица измерения: байт 536870912

    ПереведеноDeepL

    Содержание

    Попробуйте Managed Milvus бесплатно

    Zilliz Cloud работает без проблем, поддерживается Milvus и в 10 раз быстрее.

    Начать
    Обратная связь

    Была ли эта страница полезной?