Configurazioni relative ai dataNode

dataNode.dataSync.flowGraph.maxQueueLength

Descrizione	Valore predefinito
Lunghezza massima della coda dei task nel diagramma di flusso	16

dataNode.dataSync.flowGraph.maxParallelism

Descrizione	Valore predefinito
Numero massimo di task eseguiti in parallelo nel diagramma di flusso	1024

dataNode.dataSync.maxParallelSyncMgrTasks

Descrizione	Valore predefinito
Il numero massimo di task di sincronizzazione concomitanti del datanode sync mgr a livello globale	256

dataNode.dataSync.skipMode.enable

Descrizione	Valore predefinito
Supporta il salto di alcuni messaggi timetick per ridurre l'uso della CPU	vero

dataNode.dataSync.skipMode.skipNum

Descrizione	Valore predefinito
Consuma uno per ogni n record saltati	4

dataNode.dataSync.skipMode.coldTime

Descrizione	Valore predefinito
Attiva la modalità di salto dopo che ci sono stati solo msg timetick per x secondi	60

dataNode.segment.insertBufSize

Descrizione

Valore predefinito

Dimensione massima di ciascun file binlog in un segmento bufferizzato in memoria. I file binlog la cui dimensione supera questo valore vengono scaricati nel servizio MinIO o S3. Unità: Byte L'impostazione di questo parametro troppo piccolo fa sì che il sistema memorizzi una piccola quantità di dati troppo frequentemente. L'impostazione di un valore troppo alto aumenta la richiesta di memoria da parte del sistema.

16777216

dataNode.segment.deleteBufBytes

Descrizione	Valore predefinito
Dimensione massima del buffer in byte per il flush del per un singolo canale, predefinita come 16MB	16777216

dataNode.segment.syncPeriod

Descrizione	Valore predefinito
Periodo di sincronizzazione dei segmenti se il buffer non è vuoto.	600

dataNode.memory.forceSyncEnable

Descrizione	Valore predefinito
Impostare true per forzare la sincronizzazione se l'uso della memoria è eccessivo	vero

dataNode.memory.forceSyncSegmentNum

Descrizione	Valore predefinito
numero di segmenti da sincronizzare, i segmenti con il buffer più grande saranno sincronizzati.	1

dataNode.memory.checkInterval

Descrizione	Valore predefinito
intervallo di controllo dell'uso della memoria del datanode, in millisecondi	3000

dataNode.memory.forceSyncWatermark

Descrizione	Valore predefinito
filigrana di memoria per lo standalone; al raggiungimento di questa filigrana, i segmenti saranno sincronizzati.	0.5

dataNode.channel.workPoolSize

Descrizione	Valore predefinito
specifica la dimensione del pool di lavoro globale di tutti i canali se questo parametro è <= 0, sarà impostato come il numero massimo di CPU che possono essere in esecuzione si suggerisce di impostarlo più grande su grandi numeri di collezioni per evitare blocchi	-1

dataNode.channel.updateChannelCheckpointMaxParallel

Descrizione	Valore predefinito
specifica la dimensione del pool di lavoro globale per l'aggiornamento dei checkpoint del canale se questo parametro è <= 0, verrà impostato come 10	10

dataNode.channel.updateChannelCheckpointInterval

Descrizione	Valore predefinito
durata dell'intervallo (in secondi) per l'aggiornamento del checkpoint di ciascun canale da parte del datanode	60

dataNode.channel.updateChannelCheckpointRPCTimeout

Descrizione	Valore predefinito
timeout in secondi per la chiamata RPC UpdateChannelCheckpoint	20

dataNode.channel.maxChannelCheckpointsPerPRC

Descrizione	Valore predefinito
Numero massimo di checkpoint del canale per UpdateChannelCheckpoint RPC.	128

dataNode.channel.channelCheckpointUpdateTickInSeconds

Descrizione	Valore predefinito
La frequenza, in secondi, con cui il programma di aggiornamento dei punti di controllo del canale esegue gli aggiornamenti.	10

dataNode.import.maxConcurrentTaskNum

Descrizione	Valore predefinito
Il numero massimo di attività di importazione/pre-importazione che possono essere eseguite simultaneamente su un datanode.	16

dataNode.import.maxImportFileSizeInGB

Descrizione	Valore predefinito
La dimensione massima del file (in GB) per un file di importazione, dove per file di importazione si intende un file basato su righe o un insieme di file basati su colonne.	16

dataNode.import.readBufferSizeInMB

Descrizione	Valore predefinito
La dimensione del blocco di dati (in MB) letto da chunk manager dal datanode durante l'importazione.	16

dataNode.import.maxTaskSlotNum

Descrizione	Valore predefinito
Il numero massimo di slot occupati da ogni task di importazione/pre-importazione.	16

dataNode.compaction.levelZeroBatchMemoryRatio

Descrizione	Valore predefinito
Il rapporto minimo di memoria libera per la compattazione di livello zero eseguita in modalità batch	0.5

dataNode.compaction.levelZeroMaxBatchSize

Descrizione	Valore predefinito
La dimensione massima del batch si riferisce al numero massimo di segmenti L1/L2 in un batch quando si esegue la compattazione L0. Il valore predefinito è -1, qualsiasi valore inferiore a 1 significa che non ci sono limiti. Intervallo valido: >= 1.	-1

dataNode.compaction.useMergeSort

Descrizione	Valore predefinito
Abilita o meno la modalità mergeSort quando si esegue la mixCompaction.	falso

dataNode.compaction.maxSegmentMergeSort

Descrizione	Valore predefinito
Il numero massimo di segmenti da unire in modalità mergeSort.	30

dataNode.gracefulStopTimeout

Descrizione	Valore predefinito
secondi. forzare l'arresto del nodo senza l'arresto graduale	1800

dataNode.slot.slotCap

Descrizione	Valore predefinito
Numero massimo di compiti (ad esempio, compattazione, importazione) che possono essere eseguiti simultaneamente su un datanode.	16

dataNode.clusteringCompaction.memoryBufferRatio

Descrizione	Valore predefinito
Il rapporto del buffer di memoria della compattazione del clustering. I dati più grandi della soglia saranno scaricati in memoria.	0.3

dataNode.clusteringCompaction.workPoolSize

Descrizione	Valore predefinito
Dimensione del pool di lavoratori per un lavoro di compattazione del clustering.	8

dataNode.bloomFilterApplyParallelFactor

Descrizione	Valore predefinito
fattore parallelo quando applicare il pk al filtro bloom, predefinito a 4*CPU_CORE_NUM	4

dataNode.storage.deltalog

Descrizione	Valore predefinito
formato deltalog, opzioni: [json, parquet].	json

dataNode.ip

Descrizione	Valore predefinito
Indirizzo TCP/IP del dataNode. Se non viene specificato, viene utilizzato il primo indirizzo non ciclabile.

dataNode.port

Descrizione	Valore predefinito
Porta TCP del DataNode	21124

dataNode.grpc.serverMaxSendSize

Descrizione	Valore predefinito
Dimensione massima di ciascuna richiesta RPC che il dataNode può inviare, unità: byte	536870912

dataNode.grpc.serverMaxRecvSize

Descrizione	Valore predefinito
La dimensione massima di ogni richiesta RPC che il dataNode può ricevere, unità: byte	268435456

dataNode.grpc.clientMaxSendSize

Descrizione	Valore predefinito
Dimensione massima di ogni richiesta RPC che i client del dataNode possono inviare, unità: byte	268435456

dataNode.grpc.clientMaxRecvSize

Descrizione	Valore predefinito
La dimensione massima di ogni richiesta RPC che i client sul dataNode possono ricevere, unità: byte	536870912