Настройки, связанные с dataNode

dataNode.dataSync.flowGraph.maxQueueLength

Описание	Значение по умолчанию
Максимальная длина очереди задач в графе потока	16

dataNode.dataSync.flowGraph.maxParallelism

Описание	Значение по умолчанию
Максимальное количество задач, выполняемых параллельно в графе потока	1024

dataNode.dataSync.maxParallelSyncMgrTasks

Описание	Значение по умолчанию
Максимальное количество одновременно выполняемых задач синхронизации в системе управления синхронизацией узлов данных (datanode sync mgr) в целом	256

dataNode.dataSync.skipMode.enable

Описание	Значение по умолчанию
Поддержка пропуска некоторых сообщений о временных отметках для снижения загрузки ЦП	true

dataNode.dataSync.skipMode.skipNum

Описание	Значение по умолчанию
Использовать один для каждых n пропущенных записей	4

dataNode.dataSync.skipMode.coldTime

Описание	Значение по умолчанию
Включить режим пропуска после того, как в течение x секунд будут поступать только сообщения о времени	60

dataNode.segment.insertBufSize

Описание

Значение по умолчанию

Максимальный размер каждого файла журнала бинарных операций в сегменте, буферизованного в памяти. Файлы журнала бинарных операций, размер которых превышает это значение, затем сбрасываются в MinIO или сервис S3. Единица измерения: байт Слишком низкое значение этого параметра приводит к тому, что система слишком часто сохраняет небольшие объемы данных. Слишком высокое значение увеличивает потребность системы в памяти.

16777216

dataNode.segment.deleteBufBytes

Описание	Значение по умолчанию
Максимальный размер буфера в байтах для очистки del для одного канала, по умолчанию — 16 МБ	16777216

dataNode.segment.syncPeriod

Описание	Значение по умолчанию
Период синхронизации сегментов, если буфер не пуст.	600

dataNode.memory.forceSyncEnable

Описание	Значение по умолчанию
Установите значение true, чтобы принудительно запустить синхронизацию, если использование памяти слишком велико	true

dataNode.memory.forceSyncSegmentNum

Описание	Значение по умолчанию
количество сегментов для синхронизации; будут синхронизированы сегменты с наибольшим буфером.	1

dataNode.memory.checkInterval

Описание	Значение по умолчанию
интервал проверки использования памяти узла данных, в миллисекундах	3000

dataNode.memory.forceSyncWatermark

Описание	Значение по умолчанию
Пороговое значение использования памяти для автономного режима; при достижении этого значения сегменты будут синхронизированы.	0,5

dataNode.channel.workPoolSize

Описание	Значение по умолчанию
Укажите размер глобального пула задач для всех каналов если этот параметр <= 0, он будет установлен равным максимальному количеству процессоров, которые могут выполняться рекомендуется установить большее значение при большом количестве коллекций, чтобы избежать блокировки	-1

dataNode.channel.updateChannelCheckpointMaxParallel

Описание	Значение по умолчанию
Укажите размер глобального пула задач для обновления контрольных точек канала если этот параметр <= 0, он будет установлен равным 10	10

dataNode.channel.updateChannelCheckpointInterval

Описание	Значение по умолчанию
Интервал (в секундах), через который узел данных обновляет контрольную точку каждого канала	60

dataNode.channel.updateChannelCheckpointRPCTimeout

Описание	Значение по умолчанию
таймаут в секундах для RPC-вызова UpdateChannelCheckpoint	20

dataNode.channel.maxChannelCheckpointsPerPRC

Описание	Значение по умолчанию
Максимальное количество контрольных точек канала на один RPC-вызов UpdateChannelCheckpoint.	128

dataNode.channel.channelCheckpointUpdateTickInSeconds

Описание	Значение по умолчанию
Частота (в секундах), с которой программа обновления контрольных точек канала выполняет обновления.	10

dataNode.import.maxConcurrentTaskNum

Описание	Значение по умолчанию
Максимальное количество задач импорта и предварительного импорта, которые могут выполняться одновременно на узле хранения данных.	16

dataNode.import.maxImportFileSizeInGB

Описание	Значение по умолчанию
Максимальный размер файла (в ГБ) для файла импорта, где файл импорта означает либо файл на основе строк, либо набор файлов на основе столбцов.	16

dataNode.import.readBufferSizeInMB

Описание	Значение по умолчанию
Размер блока данных (в МБ), считываемого datanode из менеджера блоков во время импорта.	16

dataNode.import.maxTaskSlotNum

Описание	Значение по умолчанию
Максимальное количество слотов, занимаемых каждой задачей импорта или предварительного импорта.	16

dataNode.compaction.levelZeroBatchMemoryRatio

Описание	Значение по умолчанию
Минимальная доля свободной памяти для уплотнения уровня нулевого, выполняемого в пакетном режиме.	0,5

dataNode.compaction.levelZeroMaxBatchSize

Описание	Значение по умолчанию
Максимальный размер пакета — это максимальное количество сегментов L1/L2 в пакете при выполнении уплотнения уровня L0. По умолчанию — -1; любое значение, меньшее 1, означает отсутствие ограничения. Допустимый диапазон: >= 1.	-1

dataNode.compaction.useMergeSort

Описание	Значение по умолчанию
Включить ли режим mergeSort при выполнении mixCompaction.	false

dataNode.compaction.maxSegmentMergeSort

Описание	Значение по умолчанию
Максимальное количество сегментов, которые будут объединены в режиме mergeSort.	30

dataNode.compaction.lobHoleRatioThreshold

Описание	Значение по умолчанию
Пороговое значение соотношения неиспользуемого пространства в существующих файлах LOB для полей TEXT. Во время уплотнения, если это соотношение ниже порогового значения, Milvus повторно использует существующие файлы LOB. Если это соотношение больше или равно пороговому значению, Milvus перезаписывает оставшиеся данные LOB в новые файлы LOB, чтобы освободить место.	0,3

dataNode.gracefulStopTimeout

Описание	Значение по умолчанию
секунд. Принудительная остановка узла без плавного завершения работы	1800

dataNode.slot.slotCap

Описание	Значение по умолчанию
Максимальное количество задач (например, уплотнение, импорт), которые могут выполняться одновременно на узле данных.	16

dataNode.clusteringCompaction.memoryBufferRatio

Описание	Значение по умолчанию
Соотношение буфера памяти при кластерной уплотнении. Данные, объем которых превышает пороговое значение, будут сброшены в хранилище.	0,3

dataNode.clusteringCompaction.workPoolSize

Описание	Значение по умолчанию
Размер пула рабочих процессов для одного задания кластерной уплотнения.	8

dataNode.bloomFilterApplyParallelFactor

Описание	Значение по умолчанию
коэффициент параллелизма при применении первичного ключа к фильтру Блума; по умолчанию равен 4*CPU_CORE_NUM	4

dataNode.storage.deltalog

Описание	Значение по умолчанию
Формат deltalog, варианты: [json, parquet]	json

dataNode.text.inlineThreshold

Описание	Значение по умолчанию
Пороговое значение размера (в байтах), используемое для выбора пути хранения значения поля TEXT. Значения, меньшие этого порогового значения, хранятся непосредственно в данных поля. Значения, равные или превышающие это пороговое значение, хранятся отдельно в виде данных LOB, а в данных поля сохраняется внутренняя ссылка.	65536

dataNode.text.maxLobFileBytes

Описание	Значение по умолчанию
Максимальный размер (в байтах) одного файла LOB, в котором хранятся полезные нагрузки TEXT. Когда файл LOB достигает этого размера, Milvus записывает последующие полезные нагрузки TEXT LOB в другой файл LOB.	67108864

dataNode.text.flushThresholdBytes

Описание	Значение по умолчанию
Пороговое значение размера буфера (в байтах), при достижении которого Milvus сбрасывает буферизованные TEXT-нагрузки LOB из растущего сегмента в хранилище.	16777216

dataNode.ip

Описание	Значение по умолчанию
TCP/IP-адрес dataNode. Если не указан, используется первый адрес, поддерживающий одноадресную передачу.

dataNode.port

Описание	Значение по умолчанию
TCP-порт dataNode	21124

dataNode.grpc.serverMaxSendSize

Описание	Значение по умолчанию
Максимальный размер каждого RPC-запроса, который может отправить dataNode, единица измерения: байт	536870912

dataNode.grpc.serverMaxRecvSize

Описание	Значение по умолчанию
Максимальный размер каждого RPC-запроса, который может принять dataNode, единица измерения: байт	268435456

dataNode.grpc.clientMaxSendSize

Описание	Значение по умолчанию
Максимальный размер каждого RPC-запроса, который могут отправлять клиенты на dataNode, единица измерения: байт	268435456

dataNode.grpc.clientMaxRecvSize

Описание	Значение по умолчанию
Максимальный размер каждого RPC-запроса, который могут принимать клиенты на dataNode, единица измерения: байт	536870912