milvus-logo
LFAI
Home
  • Guía de administración

Configuraciones relacionadas con dataNode

dataNode.dataSync.flowGraph.maxQueueLength

Descripción Valor por defecto
Longitud máxima de la cola de tareas en el diagrama de flujo 16

dataNode.dataSync.flowGraph.maxParallelism

Descripción Valor por defecto
Número máximo de tareas ejecutadas en paralelo en el diagrama de flujo 1024

dataNode.dataSync.maxParallelSyncMgrTasks

Descripción Valor por defecto
Número máximo de tareas de sincronización concurrentes de datanode sync mgr globalmente 256

dataNode.dataSync.skipMode.enable

Descripción Valor por defecto
Soporta omitir algunos mensajes timetick para reducir el uso de CPU true

dataNode.dataSync.skipMode.skipNum

Descripción Valor por defecto
Consume uno por cada n registros omitidos 4

dataNode.dataSync.skipMode.coldTime

Descripción Valor por defecto
Activa el modo omitir después de que sólo haya msg de timetick durante x segundos 60

dataNode.segment.insertBufSize

Descripción Valor por defecto
  • El tamaño máximo de cada archivo binlog en un segmento almacenado en búfer en la memoria. Los archivos binlog cuyo tamaño supere este valor se vaciarán al servicio MinIO o S3.
  • Unidad Byte
  • Establecer este parámetro demasiado pequeño hace que el sistema almacene una pequeña cantidad de datos con demasiada frecuencia. Establecerlo demasiado grande aumenta la demanda de memoria del sistema.
  • 16777216

    dataNode.segment.deleteBufBytes

    Descripción Valor por defecto
    Tamaño máximo del buffer en bytes a flush del para un solo canal, por defecto 16MB 16777216

    dataNode.segment.syncPeriod

    Descripción Valor por defecto
    El periodo para sincronizar segmentos si el buffer no está vacío. 600

    dataNode.memory.forceSyncEnable

    Descripción Valor por defecto
    Establece true para forzar la sincronización si el uso de memoria es demasiado alto verdadero

    dataNode.memory.forceSyncSegmentNum

    Descripción Valor por defecto
    número de segmentos a sincronizar, se sincronizarán los segmentos con el buffer más grande. 1

    dataNode.memory.checkInterval

    Descripción Valor por defecto
    el intervalo para comprobar el uso de memoria del datanode, en milisegundos 3000

    dataNode.memory.forceSyncWatermark

    Descripción Valor por defecto
    marca de agua de memoria para standalone, al alcanzar esta marca de agua, los segmentos serán sincronizados. 0.5

    dataNode.channel.workPoolSize

    Descripción Valor por defecto
  • especifica el tamaño del pool de trabajo global de todos los canales
  • si este parámetro es <= 0, se establecerá como el número máximo de CPUs que pueden estar ejecutando
  • se recomienda aumentarlo para evitar bloqueos.
  • -1

    dataNode.channel.updateChannelCheckpointMaxParallel

    Descripción Valor por defecto
  • especifica el tamaño de la reserva de trabajo global para la actualización del punto de control del canal
  • si este parámetro es <= 0, se fijará en 10
  • 10

    dataNode.channel.updateChannelCheckpointInterval

    Descripción Valor por defecto
    la duración del intervalo (en segundos) para que el datanode actualice el punto de control de cada canal 60

    dataNode.channel.updateChannelCheckpointRPCTimeout

    Descripción Valor por defecto
    tiempo de espera en segundos para la llamada RPC UpdateChannelCheckpoint 20

    dataNode.channel.maxChannelCheckpointsPerPRC

    Descripción Valor por defecto
    El número máximo de puntos de control del canal por UpdateChannelCheckpoint RPC. 128

    dataNode.channel.channelCheckpointUpdateTickInSeconds

    Descripción Valor por defecto
    La frecuencia, en segundos, con la que el actualizador de puntos de control del canal ejecuta las actualizaciones. 10

    dataNode.import.maxConcurrentTaskNum

    Descripción Valor por defecto
    Número máximo de tareas de importación/preimportación que pueden ejecutarse simultáneamente en un nodo de datos. 16

    dataNode.import.maxImportFileSizeInGB

    Descripción Valor por defecto
    El tamaño máximo de archivo (en GB) para un archivo de importación, donde un archivo de importación se refiere a un archivo basado en filas o a un conjunto de archivos basados en columnas. 16

    dataNode.import.readBufferSizeInMB

    Descripción Valor por defecto
    El tamaño del bloque de datos (en MB) leído del gestor de trozos por el datanode durante la importación. 16

    dataNode.compaction.levelZeroBatchMemoryRatio

    Descripción Valor por defecto
    La proporción mínima de memoria libre para la compactación de nivel cero que se ejecuta en modo por lotes 0.05

    dataNode.compaction.levelZeroMaxBatchSize

    Descripción Valor por defecto
    Tamaño máximo de lote se refiere al número máximo de segmentos L1/L2 en un lote cuando se ejecuta la compactación L0. Por defecto -1, cualquier valor inferior a 1 significa que no hay límite. Rango válido: >= 1. -1

    dataNode.gracefulStopTimeout

    Descripción Valor por defecto
    segundos. forzar parada nodo sin graceful stop 1800

    dataNode.slot.slotCap

    Descripción Valor por defecto
    Número máximo de tareas (por ejemplo, compactación, importación) que se pueden ejecutar simultáneamente en un nodo de datos. 16

    dataNode.clusteringCompaction.memoryBufferRatio

    Descripción Valor por defecto
    Proporción del búfer de memoria de la compactación en clúster. Los datos mayores que el umbral se enviarán al almacenamiento. 0.1

    dataNode.clusteringCompaction.workPoolSize

    Descripción Valor por defecto
    Tamaño del grupo de trabajadores para un trabajo de compactación en clúster. 8

    dataNode.ip

    Descripción Valor por defecto
    Dirección TCP/IP de dataNode. Si no se especifica, utiliza la primera dirección unicastable

    dataNode.port

    Descripción Valor por defecto
    Puerto TCP de dataNode 21124

    dataNode.grpc.serverMaxSendSize

    Descripción Valor por defecto
    El tamaño máximo de cada petición RPC que el dataNode puede enviar, unidad: byte 536870912

    dataNode.grpc.serverMaxRecvSize

    Descripción Valor por defecto
    El tamaño máximo de cada petición RPC que el dataNode puede recibir, unidad: byte 268435456

    dataNode.grpc.clientMaxSendSize

    Descripción Valor por defecto
    El tamaño máximo de cada petición RPC que los clientes del dataNode pueden enviar, unidad: byte 268435456

    dataNode.grpc.clientMaxRecvSize

    Descripción Valor por defecto
    El tamaño máximo de cada petición RPC que los clientes en dataNode pueden recibir, unidad: byte 536870912