Configurazioni relative ai dataNode
dataNode.dataSync.flowGraph.maxQueueLength
Descrizione | Valore predefinito |
---|---|
Lunghezza massima della coda dei task nel diagramma di flusso | 16 |
dataNode.dataSync.flowGraph.maxParallelism
Descrizione | Valore predefinito |
---|---|
Numero massimo di task eseguiti in parallelo nel diagramma di flusso | 1024 |
dataNode.dataSync.maxParallelSyncMgrTasks
Descrizione | Valore predefinito |
---|---|
Il numero massimo di task di sincronizzazione concomitanti del datanode sync mgr a livello globale | 256 |
dataNode.dataSync.skipMode.enable
Descrizione | Valore predefinito |
---|---|
Supporta il salto di alcuni messaggi timetick per ridurre l'uso della CPU | vero |
dataNode.dataSync.skipMode.skipNum
Descrizione | Valore predefinito |
---|---|
Consuma uno per ogni n record saltati | 4 |
dataNode.dataSync.skipMode.coldTime
Descrizione | Valore predefinito |
---|---|
Attiva la modalità di salto dopo che ci sono solo msg timetick per x secondi | 60 |
dataNode.segment.insertBufSize
Descrizione | Valore predefinito |
---|---|
|
16777216 |
dataNode.segment.deleteBufBytes
Descrizione | Valore predefinito |
---|---|
Dimensione massima del buffer in byte per il flush del per un singolo canale, predefinita come 16 MB. | 16777216 |
dataNode.segment.syncPeriod
Descrizione | Valore predefinito |
---|---|
Periodo di sincronizzazione dei segmenti se il buffer non è vuoto. | 600 |
dataNode.memory.forceSyncEnable
Descrizione | Valore predefinito |
---|---|
Impostare true per forzare la sincronizzazione se l'uso della memoria è troppo elevato | vero |
dataNode.memory.forceSyncSegmentNum
Descrizione | Valore predefinito |
---|---|
numero di segmenti da sincronizzare, i segmenti con il buffer più grande saranno sincronizzati. | 1 |
dataNode.memory.checkInterval
Descrizione | Valore predefinito |
---|---|
intervallo di tempo per controllare l'uso della memoria del datanode, in millisecondi | 3000 |
dataNode.memory.forceSyncWatermark
Descrizione | Valore predefinito |
---|---|
filigrana di memoria per lo standalone; al raggiungimento di questa filigrana, i segmenti saranno sincronizzati. | 0.5 |
dataNode.channel.workPoolSize
Descrizione | Valore predefinito |
---|---|
|
-1 |
dataNode.channel.updateChannelCheckpointMaxParallel
Descrizione | Valore predefinito |
---|---|
|
10 |
dataNode.channel.updateChannelCheckpointInterval
Descrizione | Valore predefinito |
---|---|
la durata dell'intervallo (in secondi) per l'aggiornamento del checkpoint di ciascun canale da parte del datanode | 60 |
dataNode.channel.updateChannelCheckpointRPCTimeout
Descrizione | Valore predefinito |
---|---|
timeout in secondi per la chiamata RPC UpdateChannelCheckpoint | 20 |
dataNode.channel.maxChannelCheckpointsPerPRC
Descrizione | Valore predefinito |
---|---|
Numero massimo di checkpoint del canale per UpdateChannelCheckpoint RPC. | 128 |
dataNode.channel.channelCheckpointUpdateTickInSeconds
Descrizione | Valore predefinito |
---|---|
La frequenza, in secondi, con cui il programma di aggiornamento dei punti di controllo del canale esegue gli aggiornamenti. | 10 |
dataNode.import.maxConcurrentTaskNum
Descrizione | Valore predefinito |
---|---|
Il numero massimo di attività di importazione/pre-importazione che possono essere eseguite simultaneamente su un datanode. | 16 |
dataNode.import.maxImportFileSizeInGB
Descrizione | Valore predefinito |
---|---|
La dimensione massima del file (in GB) per un file di importazione, dove per file di importazione si intende un file basato su righe o un insieme di file basati su colonne. | 16 |
dataNode.import.readBufferSizeInMB
Descrizione | Valore predefinito |
---|---|
La dimensione del blocco di dati (in MB) letto da chunk manager dal datanode durante l'importazione. | 16 |
dataNode.compaction.levelZeroBatchMemoryRatio
Descrizione | Valore predefinito |
---|---|
Il rapporto minimo di memoria libera per la compattazione di livello zero eseguita in modalità batch | 0.05 |
dataNode.compaction.levelZeroMaxBatchSize
Descrizione | Valore predefinito |
---|---|
La dimensione massima del batch si riferisce al numero massimo di segmenti L1/L2 in un batch quando si esegue la compattazione L0. Il valore predefinito è -1, qualsiasi valore inferiore a 1 significa che non ci sono limiti. Intervallo valido: >= 1. | -1 |
dataNode.gracefulStopTimeout
Descrizione | Valore predefinito |
---|---|
secondi. forzare l'arresto del nodo senza graceful stop | 1800 |
dataNode.slot.slotCap
Descrizione | Valore predefinito |
---|---|
Numero massimo di compiti (ad esempio, compattazione, importazione) che possono essere eseguiti simultaneamente su un datanode. | 16 |
dataNode.clusteringCompaction.memoryBufferRatio
Descrizione | Valore predefinito |
---|---|
Il rapporto del buffer di memoria della compattazione del clustering. I dati più grandi della soglia saranno scaricati in memoria. | 0.1 |
dataNode.clusteringCompaction.workPoolSize
Descrizione | Valore predefinito |
---|---|
Dimensione del pool di lavoratori per un lavoro di compattazione del clustering. | 8 |
dataNode.ip
Descrizione | Valore predefinito |
---|---|
Indirizzo TCP/IP del dataNode. Se non viene specificato, viene utilizzato il primo indirizzo non ciclabile. |
dataNode.port
Descrizione | Valore predefinito |
---|---|
Porta TCP del DataNode | 21124 |
dataNode.grpc.serverMaxSendSize
Descrizione | Valore predefinito |
---|---|
Dimensione massima di ciascuna richiesta RPC che il dataNode può inviare, unità: byte | 536870912 |
dataNode.grpc.serverMaxRecvSize
Descrizione | Valore predefinito |
---|---|
La dimensione massima di ogni richiesta RPC che il dataNode può ricevere, unità: byte | 268435456 |
dataNode.grpc.clientMaxSendSize
Descrizione | Valore predefinito |
---|---|
Dimensione massima di ogni richiesta RPC che i client del dataNode possono inviare, unità: byte | 268435456 |
dataNode.grpc.clientMaxRecvSize
Descrizione | Valore predefinito |
---|---|
La dimensione massima di ogni richiesta RPC che i client sul dataNode possono ricevere, unità: byte | 536870912 |