Milvus
Zilliz
Estrella46.2KReserve una demostraciónEmpezar
Home

Configuraciones relacionadas con dataNode

dataNode.dataSync.flowGraph.maxQueueLength

Descripción Valor por defecto
Longitud máxima de la cola de tareas en el diagrama de flujo 16

dataNode.dataSync.flowGraph.maxParallelism

Descripción Valor por defecto
Número máximo de tareas ejecutadas en paralelo en el diagrama de flujo 1024

dataNode.dataSync.maxParallelSyncMgrTasks

Descripción Valor por defecto
Número máximo de tareas de sincronización simultáneas del gestor de sincronización de nodos de datos a nivel global 256

dataNode.dataSync.skipMode.enable

Descripción Valor por defecto
Admite omitir algunos mensajes de «timetick» para reducir el uso de la CPU true

dataNode.dataSync.skipMode.skipNum

Descripción Valor por defecto
Consume uno por cada n registros omitidos 4

dataNode.dataSync.skipMode.coldTime

Descripción Valor predeterminado
Activar el modo de omisión cuando solo haya mensajes de tiempo durante x segundos 60

dataNode.segment.insertBufSize

Descripción Valor predeterminado
  • El tamaño máximo de cada archivo de registro binario de un segmento almacenado en memoria. Los archivos de registro binario cuyo tamaño supere este valor se vacían a MinIO o al servicio S3.
  • Unidad: byte
  • Si se establece un valor demasiado bajo para este parámetro, el sistema almacenará una pequeña cantidad de datos con demasiada frecuencia. Si se establece un valor demasiado alto, aumentará la demanda de memoria del sistema.
    		•  16777216

    dataNode.segment.deleteBufBytes

    Descripción Valor por defecto
    Tamaño máximo del búfer en bytes para vaciar el del de un solo canal; el valor por defecto es 16 MB 16777216

    dataNode.segment.syncPeriod

    Descripción Valor predeterminado
    El intervalo para sincronizar segmentos si el búfer no está vacío. 600

    dataNode.memory.forceSyncEnable

    Descripción Valor predeterminado
    Establecer en «true» para forzar la sincronización si el uso de memoria es demasiado elevado true

    dataNode.memory.forceSyncSegmentNum

    Descripción Valor por defecto
    Número de segmentos que se van a sincronizar; se sincronizarán los segmentos con el búfer más grande. 1

    dataNode.memory.checkInterval

    Descripción Valor por defecto
    El intervalo para comprobar el uso de memoria de los nodos de datos, en milisegundos 3000

    dataNode.memory.forceSyncWatermark

    Descripción Valor por defecto
    Nivel de memoria para el modo autónomo; al alcanzar este nivel, se sincronizarán los segmentos. 0,5

    dataNode.channel.workPoolSize

    Descripción Valor predeterminado
  • Especifica el tamaño del grupo de trabajo global de todos los canales
  • Si este parámetro es <= 0, se establecerá como el número máximo de CPU que pueden estar ejecutándose
  • Se recomienda establecer un valor mayor cuando el número de colecciones sea elevado para evitar bloqueos
    		•  -1

    dataNode.channel.updateChannelCheckpointMaxParallel

    Descripción Valor por defecto
  • Especifica el tamaño del grupo de trabajo global para la actualización de los puntos de control del canal
  • si este parámetro es <= 0, se establecerá en 10
    		•  10

    dataNode.channel.updateChannelCheckpointInterval

    Descripción Valor por defecto
    Duración del intervalo (en segundos) en el que el nodo de datos actualiza el punto de control de cada canal 60

    dataNode.channel.updateChannelCheckpointRPCTimeout

    Descripción Valor predeterminado
    tiempo de espera, en segundos, para la llamada RPC «UpdateChannelCheckpoint» 20

    dataNode.channel.maxChannelCheckpointsPerPRC

    Descripción Valor predeterminado
    Número máximo de puntos de control de canal por cada llamada RPC a UpdateChannelCheckpoint. 128

    dataNode.channel.channelCheckpointUpdateTickInSeconds

    Descripción Valor predeterminado
    La frecuencia, en segundos, con la que el actualizador de puntos de control del canal ejecuta las actualizaciones. 10

    dataNode.import.maxConcurrentTaskNum

    Descripción Valor predeterminado
    El número máximo de tareas de importación o preimportación que se pueden ejecutar simultáneamente en un nodo de datos. 16

    dataNode.import.maxImportFileSizeInGB

    Descripción Valor predeterminado
    El tamaño máximo (en GB) de un archivo de importación, entendiéndose por «archivo de importación» tanto un archivo basado en filas como un conjunto de archivos basados en columnas. 16

    dataNode.import.readBufferSizeInMB

    Descripción Valor predeterminado
    El tamaño del bloque de datos (en MB) que lee el nodo de datos del gestor de fragmentos durante la importación. 16

    dataNode.import.maxTaskSlotNum

    Descripción Valor predeterminado
    El número máximo de ranuras ocupadas por cada tarea de importación o preimportación. 16

    dataNode.compaction.levelZeroBatchMemoryRatio

    Descripción Valor predeterminado
    La proporción mínima de memoria libre para la compactación de nivel cero que se ejecuta en modo por lotes. 0,5

    dataNode.compaction.levelZeroMaxBatchSize

    Descripción Valor por defecto
    El tamaño máximo de lote se refiere al número máximo de segmentos L1/L2 en un lote al ejecutar la compactación de nivel 0. El valor por defecto es -1; cualquier valor inferior a 1 significa que no hay límite. Rango válido: >= 1. -1

    dataNode.compaction.useMergeSort

    Descripción Valor por defecto
    Indica si se debe habilitar el modo mergeSort al realizar la compactación mixCompaction. false

    dataNode.compaction.maxSegmentMergeSort

    Descripción Valor por defecto
    Número máximo de segmentos que se pueden fusionar en el modo «mergeSort». 30

    dataNode.compaction.lobHoleRatioThreshold

    Descripción Valor por defecto
    El umbral de la proporción de espacio no utilizado en los archivos LOB existentes para los campos TEXT. Durante la compactación, si esta proporción es inferior al umbral, Milvus reutiliza los archivos LOB existentes. Si esta proporción es igual o superior al umbral, Milvus reescribe los datos LOB restantes en nuevos archivos LOB para recuperar espacio. 0,3

    dataNode.gracefulStopTimeout

    Descripción Valor predeterminado
    segundos. Forzar la parada del nodo sin parada gradual 1800

    dataNode.slot.slotCap

    Descripción Valor predeterminado
    Número máximo de tareas (por ejemplo, compactación, importación) que se pueden ejecutar simultáneamente en un nodo de datos 16

    dataNode.clusteringCompaction.memoryBufferRatio

    Descripción Valor por defecto
    Proporción del búfer de memoria de la compactación en clúster. Los datos que superen el umbral se vaciarán al almacenamiento. 0,3

    dataNode.clusteringCompaction.workPoolSize

    Descripción Valor predeterminado
    Tamaño del grupo de trabajadores para una tarea de compactación por clústeres. 8

    dataNode.bloomFilterApplyParallelFactor

    Descripción Valor predeterminado
    Factor de paralelismo a la hora de aplicar la clave primaria (pk) al filtro de Bloom; el valor por defecto es 4*CPU_CORE_NUM 4

    dataNode.storage.deltalog

    Descripción Valor predeterminado
    Formato del registro de diferencias; opciones: [json, parquet] json

    dataNode.text.inlineThreshold

    Descripción Valor por defecto
    El umbral de tamaño, en bytes, que se utiliza para elegir la ruta de almacenamiento de un valor de campo TEXT. Los valores inferiores a este umbral se almacenan directamente en los datos del campo. Los valores iguales o superiores a este umbral se almacenan por separado como cargas útiles LOB, y los datos del campo almacenan una referencia interna. 65536

    dataNode.text.maxLobFileBytes

    Descripción Valor predeterminado
    El tamaño máximo, en bytes, de un único archivo LOB que almacena cargas útiles de tipo TEXT. Cuando un archivo LOB alcanza este tamaño, Milvus escribe las cargas útiles TEXT LOB posteriores en otro archivo LOB. 67108864

    dataNode.text.flushThresholdBytes

    Descripción Valor predeterminado
    El umbral del tamaño del búfer, en bytes, que hace que Milvus vacíe las cargas útiles TEXT LOB almacenadas en el búfer de un segmento en crecimiento al almacenamiento. 16777216

    dataNode.ip

    Descripción Valor predeterminado
    Dirección TCP/IP del dataNode. Si no se especifica, se utiliza la primera dirección unicastable.

    dataNode.port

    Descripción Valor por defecto
    Puerto TCP de dataNode 21124

    dataNode.grpc.serverMaxSendSize

    Descripción Valor por defecto
    El tamaño máximo de cada solicitud RPC que puede enviar el dataNode, unidad: byte 536870912

    dataNode.grpc.serverMaxRecvSize

    Descripción Valor por defecto
    El tamaño máximo de cada solicitud RPC que puede recibir el dataNode, unidad: byte 268435456

    dataNode.grpc.clientMaxSendSize

    Descripción Valor por defecto
    El tamaño máximo de cada solicitud RPC que pueden enviar los clientes del dataNode, unidad: byte 268435456

    dataNode.grpc.clientMaxRecvSize

    Descripción Valor por defecto
    El tamaño máximo de cada solicitud RPC que pueden recibir los clientes en dataNode, unidad: byte 536870912

    Traducido porDeepL

    Tabla de contenidos

    Prueba Milvus gestionado gratis

    Zilliz Cloud no da problemas, funciona con Milvus y es 10 veces más rápido.

    Empezar
    Feedback

    ¿Fue útil esta página?