milvus-logo
LFAI
Casa
  • Guida all'amministrazione

Configurazioni relative ai dataNode

dataNode.dataSync.flowGraph.maxQueueLength

Descrizione Valore predefinito
Lunghezza massima della coda dei task nel diagramma di flusso 16

dataNode.dataSync.flowGraph.maxParallelism

Descrizione Valore predefinito
Numero massimo di task eseguiti in parallelo nel diagramma di flusso 1024

dataNode.dataSync.maxParallelSyncMgrTasks

Descrizione Valore predefinito
Il numero massimo di task di sincronizzazione concomitanti del datanode sync mgr a livello globale 256

dataNode.dataSync.skipMode.enable

Descrizione Valore predefinito
Supporta il salto di alcuni messaggi timetick per ridurre l'uso della CPU vero

dataNode.dataSync.skipMode.skipNum

Descrizione Valore predefinito
Consuma uno per ogni n record saltati 4

dataNode.dataSync.skipMode.coldTime

Descrizione Valore predefinito
Attiva la modalità di salto dopo che ci sono solo msg timetick per x secondi 60

dataNode.segment.insertBufSize

Descrizione Valore predefinito
  • Dimensione massima di ciascun file binlog in un segmento bufferizzato in memoria. I file binlog la cui dimensione supera questo valore vengono scaricati nel servizio MinIO o S3.
  • Unità: Byte
  • L'impostazione di questo parametro troppo piccolo fa sì che il sistema memorizzi una piccola quantità di dati troppo frequentemente. L'impostazione di un valore troppo alto aumenta la richiesta di memoria da parte del sistema.
  • 16777216

    dataNode.segment.deleteBufBytes

    Descrizione Valore predefinito
    Dimensione massima del buffer in byte per il flush del per un singolo canale, predefinita come 16 MB. 16777216

    dataNode.segment.syncPeriod

    Descrizione Valore predefinito
    Periodo di sincronizzazione dei segmenti se il buffer non è vuoto. 600

    dataNode.memory.forceSyncEnable

    Descrizione Valore predefinito
    Impostare true per forzare la sincronizzazione se l'uso della memoria è troppo elevato vero

    dataNode.memory.forceSyncSegmentNum

    Descrizione Valore predefinito
    numero di segmenti da sincronizzare, i segmenti con il buffer più grande saranno sincronizzati. 1

    dataNode.memory.checkInterval

    Descrizione Valore predefinito
    intervallo di tempo per controllare l'uso della memoria del datanode, in millisecondi 3000

    dataNode.memory.forceSyncWatermark

    Descrizione Valore predefinito
    filigrana di memoria per lo standalone; al raggiungimento di questa filigrana, i segmenti saranno sincronizzati. 0.5

    dataNode.channel.workPoolSize

    Descrizione Valore predefinito
  • specifica la dimensione del pool di lavoro globale di tutti i canali
  • se questo parametro è <= 0, sarà impostato come il numero massimo di CPU che possono essere in esecuzione
  • si suggerisce di impostarlo più grande su grandi numeri di collezioni per evitare blocchi
  • -1

    dataNode.channel.updateChannelCheckpointMaxParallel

    Descrizione Valore predefinito
  • specifica la dimensione del pool di lavoro globale per l'aggiornamento dei checkpoint del canale
  • se questo parametro è <= 0, verrà impostato come 10
  • 10

    dataNode.channel.updateChannelCheckpointInterval

    Descrizione Valore predefinito
    la durata dell'intervallo (in secondi) per l'aggiornamento del checkpoint di ciascun canale da parte del datanode 60

    dataNode.channel.updateChannelCheckpointRPCTimeout

    Descrizione Valore predefinito
    timeout in secondi per la chiamata RPC UpdateChannelCheckpoint 20

    dataNode.channel.maxChannelCheckpointsPerPRC

    Descrizione Valore predefinito
    Numero massimo di checkpoint del canale per UpdateChannelCheckpoint RPC. 128

    dataNode.channel.channelCheckpointUpdateTickInSeconds

    Descrizione Valore predefinito
    La frequenza, in secondi, con cui il programma di aggiornamento dei punti di controllo del canale esegue gli aggiornamenti. 10

    dataNode.import.maxConcurrentTaskNum

    Descrizione Valore predefinito
    Il numero massimo di attività di importazione/pre-importazione che possono essere eseguite simultaneamente su un datanode. 16

    dataNode.import.maxImportFileSizeInGB

    Descrizione Valore predefinito
    La dimensione massima del file (in GB) per un file di importazione, dove per file di importazione si intende un file basato su righe o un insieme di file basati su colonne. 16

    dataNode.import.readBufferSizeInMB

    Descrizione Valore predefinito
    La dimensione del blocco di dati (in MB) letto da chunk manager dal datanode durante l'importazione. 16

    dataNode.compaction.levelZeroBatchMemoryRatio

    Descrizione Valore predefinito
    Il rapporto minimo di memoria libera per la compattazione di livello zero eseguita in modalità batch 0.05

    dataNode.compaction.levelZeroMaxBatchSize

    Descrizione Valore predefinito
    La dimensione massima del batch si riferisce al numero massimo di segmenti L1/L2 in un batch quando si esegue la compattazione L0. Il valore predefinito è -1, qualsiasi valore inferiore a 1 significa che non ci sono limiti. Intervallo valido: >= 1. -1

    dataNode.gracefulStopTimeout

    Descrizione Valore predefinito
    secondi. forzare l'arresto del nodo senza graceful stop 1800

    dataNode.slot.slotCap

    Descrizione Valore predefinito
    Numero massimo di compiti (ad esempio, compattazione, importazione) che possono essere eseguiti simultaneamente su un datanode. 16

    dataNode.clusteringCompaction.memoryBufferRatio

    Descrizione Valore predefinito
    Il rapporto del buffer di memoria della compattazione del clustering. I dati più grandi della soglia saranno scaricati in memoria. 0.1

    dataNode.clusteringCompaction.workPoolSize

    Descrizione Valore predefinito
    Dimensione del pool di lavoratori per un lavoro di compattazione del clustering. 8

    dataNode.ip

    Descrizione Valore predefinito
    Indirizzo TCP/IP del dataNode. Se non viene specificato, viene utilizzato il primo indirizzo non ciclabile.

    dataNode.port

    Descrizione Valore predefinito
    Porta TCP del DataNode 21124

    dataNode.grpc.serverMaxSendSize

    Descrizione Valore predefinito
    Dimensione massima di ciascuna richiesta RPC che il dataNode può inviare, unità: byte 536870912

    dataNode.grpc.serverMaxRecvSize

    Descrizione Valore predefinito
    La dimensione massima di ogni richiesta RPC che il dataNode può ricevere, unità: byte 268435456

    dataNode.grpc.clientMaxSendSize

    Descrizione Valore predefinito
    Dimensione massima di ogni richiesta RPC che i client del dataNode possono inviare, unità: byte 268435456

    dataNode.grpc.clientMaxRecvSize

    Descrizione Valore predefinito
    La dimensione massima di ogni richiesta RPC che i client sul dataNode possono ricevere, unità: byte 536870912