Milvus
Zilliz
Stella46.4KPrenota una dimostrazioneInizia
Casa

Configurazioni relative a dataNode

dataNode.dataSync.flowGraph.maxQueueLength

Descrizione Valore predefinito
Lunghezza massima della coda delle attività nel grafico di flusso 16

dataNode.dataSync.flowGraph.maxParallelism

Descrizione Valore predefinito
Numero massimo di attività eseguite in parallelo nel grafico di flusso 1024

dataNode.dataSync.maxParallelSyncMgrTasks

Descrizione Valore predefinito
Numero massimo di attività di sincronizzazione simultanee del gestore di sincronizzazione dei datanode a livello globale 256

dataNode.dataSync.skipMode.enable

Descrizione Valore predefinito
Supporta il salto di alcuni messaggi di timetick per ridurre l'utilizzo della CPU true

dataNode.dataSync.skipMode.skipNum

Descrizione Valore predefinito
Ne consuma uno ogni n record saltati 4

dataNode.dataSync.skipMode.coldTime

Descrizione Valore predefinito
Attiva la modalità di salto dopo che per x secondi sono presenti solo messaggi di timetick 60

dataNode.segment.insertBufSize

Descrizione Valore predefinito
  • La dimensione massima di ciascun file binlog in un segmento memorizzato nella memoria. I file binlog la cui dimensione supera questo valore vengono quindi scaricati su MinIO o sul servizio S3.
  • Unità: byte
  • Impostare un valore troppo basso per questo parametro fa sì che il sistema memorizzi una piccola quantità di dati con troppa frequenza. Impostare un valore troppo alto aumenta il fabbisogno di memoria del sistema.
    		•  16777216

    dataNode.segment.deleteBufBytes

    Descrizione Valore predefinito
    Dimensione massima del buffer in byte da svuotare per un singolo canale; il valore predefinito è 16 MB 16777216

    dataNode.segment.syncPeriod

    Descrizione Valore predefinito
    Intervallo di sincronizzazione dei segmenti se il buffer non è vuoto. 600

    dataNode.memory.forceSyncEnable

    Descrizione Valore predefinito
    Impostare su "true" per forzare la sincronizzazione se l'utilizzo della memoria è troppo elevato true

    dataNode.memory.forceSyncSegmentNum

    Descrizione Valore predefinito
    numero di segmenti da sincronizzare; verranno sincronizzati i segmenti con il buffer più grande. 1

    dataNode.memory.checkInterval

    Descrizione Valore predefinito
    Intervallo di tempo per il controllo dell'utilizzo della memoria del datanode, in millisecondi 3000

    dataNode.memory.forceSyncWatermark

    Descrizione Valore predefinito
    soglia di memoria per la versione standalone; al raggiungimento di tale soglia, i segmenti verranno sincronizzati. 0,5

    dataNode.channel.workPoolSize

    Descrizione Valore predefinito
  • Specifica la dimensione del pool di lavoro globale di tutti i canali
  • se questo parametro è <= 0, verrà impostato come numero massimo di CPU che possono essere in esecuzione
  • Si consiglia di impostare un valore più alto in presenza di un numero elevato di collezioni per evitare il blocco
    		•  -1

    dataNode.channel.updateChannelCheckpointMaxParallel

    Descrizione Valore predefinito
  • Specifica la dimensione del pool di lavoro globale per l'aggiornamento dei checkpoint dei canali
  • se questo parametro è <= 0, verrà impostato a 10
    		•  10

    dataNode.channel.updateChannelCheckpointInterval

    Descrizione Valore predefinito
    Durata dell'intervallo (in secondi) entro cui il nodo dati deve aggiornare il checkpoint di ciascun canale 60

    dataNode.channel.updateChannelCheckpointRPCTimeout

    Descrizione Valore predefinito
    timeout in secondi per la chiamata RPC UpdateChannelCheckpoint 20

    dataNode.channel.maxChannelCheckpointsPerPRC

    Descrizione Valore predefinito
    Il numero massimo di checkpoint del canale per ogni chiamata RPC UpdateChannelCheckpoint. 128

    dataNode.channel.channelCheckpointUpdateTickInSeconds

    Descrizione Valore predefinito
    La frequenza, in secondi, con cui il programma di aggiornamento dei checkpoint del canale esegue gli aggiornamenti. 10

    dataNode.import.maxConcurrentTaskNum

    Descrizione Valore predefinito
    Il numero massimo di attività di importazione/pre-importazione che possono essere eseguite contemporaneamente su un nodo dati. 16

    dataNode.import.maxImportFileSizeInGB

    Descrizione Valore predefinito
    Dimensione massima (in GB) di un file di importazione, dove per file di importazione si intende un file basato su righe o un insieme di file basati su colonne. 16

    dataNode.import.readBufferSizeInMB

    Descrizione Valore predefinito
    La dimensione del blocco di dati (in MB) letta dal chunk manager dal datanode durante l'importazione. 16

    dataNode.import.maxTaskSlotNum

    Descrizione Valore predefinito
    Il numero massimo di slot occupati da ciascuna attività di importazione/pre-importazione. 16

    dataNode.compaction.levelZeroBatchMemoryRatio

    Descrizione Valore predefinito
    Il rapporto minimo di memoria libera per la compattazione di livello zero eseguita in modalità batch 0,5

    dataNode.compaction.levelZeroMaxBatchSize

    Descrizione Valore predefinito
    La dimensione massima del batch si riferisce al numero massimo di segmenti L1/L2 in un batch durante l'esecuzione della compattazione di livello zero. Il valore predefinito è -1; qualsiasi valore inferiore a 1 indica l'assenza di limiti. Intervallo valido: >= 1. -1

    dataNode.compaction.useMergeSort

    Descrizione Valore predefinito
    Se abilitare la modalità mergeSort durante l'esecuzione di mixCompaction. false

    dataNode.compaction.maxSegmentMergeSort

    Descrizione Valore predefinito
    Numero massimo di segmenti da unire in modalità mergeSort. 30

    dataNode.compaction.lobHoleRatioThreshold

    Descrizione Valore predefinito
    La soglia relativa alla percentuale di spazio inutilizzato nei file LOB esistenti per i campi TEXT. Durante la compattazione, se tale percentuale è inferiore alla soglia, Milvus riutilizza i file LOB esistenti. Se tale percentuale è maggiore o uguale alla soglia, Milvus riscrive i dati LOB rimanenti in nuovi file LOB per recuperare spazio. 0,3

    dataNode.gracefulStopTimeout

    Descrizione Valore predefinito
    secondi. Arresto forzato del nodo senza arresto graduale 1800

    dataNode.slot.slotCap

    Descrizione Valore predefinito
    Il numero massimo di attività (ad es. compattazione, importazione) che possono essere eseguite contemporaneamente su un nodo dati 16

    dataNode.clusteringCompaction.memoryBufferRatio

    Descrizione Valore predefinito
    Il rapporto del buffer di memoria della compattazione in cluster. I dati superiori alla soglia verranno scaricati nell'archivio. 0,3

    dataNode.clusteringCompaction.workPoolSize

    Descrizione Valore predefinito
    Dimensione del pool di worker per un singolo processo di compattazione in cluster. 8

    dataNode.bloomFilterApplyParallelFactor

    Descrizione Valore predefinito
    Fattore di parallelizzazione da applicare al filtro Bloom per la chiave primaria; il valore predefinito è 4*CPU_CORE_NUM 4

    dataNode.storage.deltalog

    Descrizione Valore predefinito
    Formato deltalog, opzioni: [json, parquet] json

    dataNode.text.inlineThreshold

    Descrizione Valore predefinito
    La soglia di dimensione, in byte, utilizzata per scegliere il percorso di archiviazione per il valore di un campo TEXT. I valori inferiori a questa soglia vengono memorizzati direttamente nei dati del campo. I valori superiori o uguali a questa soglia vengono memorizzati separatamente come payload LOB, mentre i dati del campo conservano un riferimento interno. 65536

    dataNode.text.maxLobFileBytes

    Descrizione Valore predefinito
    La dimensione massima, in byte, di un singolo file LOB che memorizza payload TEXT. Quando un file LOB raggiunge questa dimensione, Milvus scrive i payload TEXT LOB successivi in un altro file LOB. 67108864

    dataNode.text.flushThresholdBytes

    Descrizione Valore predefinito
    La soglia della dimensione del buffer, in byte, che induce Milvus a scaricare i payload TEXT LOB memorizzati nel buffer da un segmento in crescita verso l’archivio. 16777216

    dataNode.ip

    Descrizione Valore predefinito
    Indirizzo TCP/IP del dataNode. Se non specificato, viene utilizzato il primo indirizzo unicastabile

    dataNode.port

    Descrizione Valore predefinito
    Porta TCP del dataNode 21124

    dataNode.grpc.serverMaxSendSize

    Descrizione Valore predefinito
    Dimensione massima di ciascuna richiesta RPC che il dataNode può inviare, unità: byte 536870912

    dataNode.grpc.serverMaxRecvSize

    Descrizione Valore predefinito
    Dimensione massima di ciascuna richiesta RPC che il dataNode può ricevere, unità: byte 268435456

    dataNode.grpc.clientMaxSendSize

    Descrizione Valore predefinito
    La dimensione massima di ciascuna richiesta RPC che i client su dataNode possono inviare, unità: byte 268435456

    dataNode.grpc.clientMaxRecvSize

    Descrizione Valore predefinito
    La dimensione massima di ciascuna richiesta RPC che i client su dataNode possono ricevere, unità: byte 536870912

    Tradotto daDeepL

    Tabella dei contenuti

    Prova Milvus gestito gratuitamente

    Zilliz Cloud è senza problemi, basato su Milvus e 10 volte più veloce.

    Inizia
    Feedback

    Questa pagina è stata utile?