dataNode 相關組態
dataNode.dataSync.flowGraph.maxQueueLength
| 說明 | 預設值 |
|---|---|
| 流程圖中任務佇列的最大長度 | 16 |
dataNode.dataSync.flowGraph.maxParallelism
| 說明 | 預設值 |
|---|---|
| 流程圖中並行執行的最大任務數 | 1024 |
dataNode.dataSync.maxParallelSyncMgrTasks
| 說明 | 預設值 |
|---|---|
| 資料節點同步管理員的全球最大並發同步任務數 | 256 |
dataNode.dataSync.skipMode.enable
| 說明 | 預設值 |
|---|---|
| 支援跳過某些 Timetick 訊息以減少 CPU 使用量 | 真 |
dataNode.dataSync.skipMode.skipNum
| 說明 | 預設值 |
|---|---|
| 每跳過 n 個記錄消耗一個 | 4 |
dataNode.dataSync.skipMode.coldTime
| 說明 | 預設值 |
|---|---|
| 在 x 秒內只有 Timetick msg 後開啟跳過模式 | 60 |
dataNode.segment.insertBufSize
| 說明 | 預設值 |
|---|---|
|
|
16777216 |
dataNode.segment.deleteBufBytes
| 說明 | 預設值 |
|---|---|
| 單一通道刷新 del 的最大緩衝區大小 (位元組)，預設為 16 MB | 16777216 |
dataNode.segment.syncPeriod
| 說明 | 預設值 |
|---|---|
| 緩衝區未清空時，同步處理區段的週期。 | 600 |
dataNode.memory.forceSyncEnable
| 說明 | 預設值 |
|---|---|
| 如果記憶體使用率過高，設定為 true 可強制同步 | true |
dataNode.memory.forceSyncSegmentNum
| 說明 | 預設值 |
|---|---|
| 要同步的區段數，緩衝區最大的區段會被同步。 | 1 |
dataNode.memory.checkInterval
| 說明 | 預設值 |
|---|---|
| 檢查資料節點記憶體使用情況的間隔時間，以毫秒為單位 | 3000 |
dataNode.memory.forceSyncWatermark
| 說明 | 預設值 |
|---|---|
| 獨立版的記憶體水印，達到此水印時，區段會被同步。 | 0.5 |
dataNode.channel.workPoolSize
| 說明 | 預設值 |
|---|---|
|
|
-1 |
dataNode.channel.updateChannelCheckpointMaxParallel
| 說明 | 預設值 |
|---|---|
|
|
10 |
dataNode.channel.updateChannelCheckpointInterval
| 說明 | 預設值 |
|---|---|
| 資料節點更新每個通道檢查點的間隔時間 (秒) | 60 |
dataNode.channel.updateChannelCheckpointRPCTimeout
| 說明 | 預設值 |
|---|---|
| UpdateChannelCheckpoint RPC 呼叫的逾時時間 (秒) | 20 |
dataNode.channel.maxChannelCheckpointsPerPRC
| 說明 | 預設值 |
|---|---|
| 每次 UpdateChannelCheckpoint RPC 的最大通道檢查點數量。 | 128 |
dataNode.channel.channelCheckpointUpdateTickInSeconds
| 說明 | 預設值 |
|---|---|
| 通道檢查點更新器執行更新的頻率 (以秒為單位)。 | 10 |
dataNode.import.maxConcurrentTaskNum
| 說明 | 預設值 |
|---|---|
| 資料節點上允許同時執行的最大匯入/匯出前工作數量。 | 16 |
dataNode.import.maxImportFileSizeInGB
| 說明 | 預設值 |
|---|---|
| 匯入檔案的最大檔案大小 (以 GB 為單位)，其中匯入檔案指的是以行為基礎的檔案或以列為基礎的檔案集。 | 16 |
dataNode.import.readBufferSizeInMB
| 說明 | 預設值 |
|---|---|
| 資料節點在匯入時從分塊管理器讀取的資料區大小（MB）。 | 16 |
dataNode.import.maxTaskSlotNum
| 說明 | 預設值 |
|---|---|
| 每個匯入/匯入前工作佔用的最大插槽數。 | 16 |
dataNode.compaction.levelZeroBatchMemoryRatio
| 說明 | 預設值 |
|---|---|
| 以批次模式執行第零層壓縮的最小可用記憶體比率 | 0.5 |
dataNode.compaction.levelZeroMaxBatchSize
| 說明 | 預設值 |
|---|---|
| 最大批次大小指執行 L0 壓縮時，批次中 L1/L2 區段的最大數目。預設值為 -1，任何小於 1 的值表示沒有限制。有效範圍：>= 1. | -1 |
dataNode.compaction.useMergeSort
| 說明 | 預設值 |
|---|---|
| 執行 mixCompaction 時，是否啟用 mergeSort 模式。 | 假 |
dataNode.compaction.maxSegmentMergeSort
| 說明 | 預設值 |
|---|---|
| 在 mergeSort 模式中要合併的最大區段數。 | 30 |
dataNode.gracefulStopTimeout
| 說明 | 預設值 |
|---|---|
| 秒。強制停止節點而不優先停止 | 1800 |
dataNode.slot.slotCap
| 說明 | 預設值 |
|---|---|
| 資料節點上允許同時執行的最大任務 (例如壓縮、匯入) 數量 | 16 |
dataNode.clusteringCompaction.memoryBufferRatio
| 說明 | 預設值 |
|---|---|
| 叢集壓縮的記憶體緩衝區比率。大於臨界值的資料會被沖到儲存區。 | 0.3 |
dataNode.clusteringCompaction.workPoolSize
| 說明 | 預設值 |
|---|---|
| 一個群集壓縮工作的工作人員池大小。 | 8 |
dataNode.bloomFilterApplyParallelFactor
| 說明 | 預設值 |
|---|---|
| 將 pk 應用於 bloom filter 時的平行因子，預設為 4*CPU_CORE_NUM | 4 |
dataNode.storage.deltalog
| 說明 | 預設值 |
|---|---|
| deltalog 格式，選項：[json, parquet］ | json |
dataNode.ip
| 說明 | 預設值 |
|---|---|
| dataNode 的 TCP/IP 位址。如果未指定，則使用第一個可單點傳送的位址 |
dataNode.port
| 說明 | 預設值 |
|---|---|
| 資料節點的 TCP 埠 | 21124 |
dataNode.grpc.serverMaxSendSize
| 說明 | 預設值 |
|---|---|
| dataNode 可以傳送的每個 RPC 請求的最大大小，單位：位元組 | 536870912 |
dataNode.grpc.serverMaxRecvSize
| 說明 | 預設值 |
|---|---|
| dataNode 可以接收的每個 RPC 請求的最大大小，單位：位元組 | 268435456 |
dataNode.grpc.clientMaxSendSize
| 說明 | 預設值 |
|---|---|
| dataNode 上的用戶端可以傳送的每個 RPC 請求的最大大小，單位：位元組 | 268435456 |
dataNode.grpc.clientMaxRecvSize
| 說明 | 預設值 |
|---|---|
| dataNode 用戶端可接收的每個 RPC 請求的最大大小，單位：位元組 | 536870912 |