milvus-logo
LFAI
Home
  • Guide d'administration

Configurations liées au nœud de données

dataNode.dataSync.flowGraph.maxQueueLength

Description de la configuration Valeur par défaut
Longueur maximale de la file d'attente des tâches dans l'organigramme 16

dataNode.dataSync.flowGraph.maxParallelism

Description de la valeur par défaut Valeur par défaut
Nombre maximal de tâches exécutées en parallèle dans le graphe de flux 1024

dataNode.dataSync.maxParallelSyncMgrTasks

Description de la valeur par défaut Valeur par défaut
Nombre maximal de tâches de synchronisation simultanées de la gestion de la synchronisation des nœuds de données au niveau mondial 256

dataNode.dataSync.skipMode.enable

Description de la valeur par défaut Valeur par défaut
Supporte le saut de certains messages de timetick pour réduire l'utilisation du CPU true

dataNode.dataSync.skipMode.skipNum

Description Valeur par défaut
Consomme un pour n enregistrements ignorés 4

dataNode.dataSync.skipMode.coldTime

Description de la valeur par défaut Valeur par défaut
Activer le mode saut après qu'il n'y ait eu que des messages de timetick pendant x secondes 60

dataNode.segment.insertBufSize

Description Valeur par défaut
  • Taille maximale de chaque fichier d'historique dans un segment mis en mémoire tampon. Les fichiers binlogs dont la taille dépasse cette valeur sont ensuite transférés vers MinIO ou le service S3.
  • Unité : Octet
  • Si ce paramètre est trop petit, le système stocke trop fréquemment une petite quantité de données. Un paramètre trop élevé augmente la demande de mémoire du système.
  • 16777216

    dataNode.segment.deleteBufBytes

    Description du paramètre Valeur par défaut
    Taille maximale de la mémoire tampon en octets pour l'évacuation des données d'un seul canal, 16 Mo par défaut. 16777216

    dataNode.segment.syncPeriod

    Description de la valeur par défaut Valeur par défaut
    Période de synchronisation des segments si le tampon n'est pas vide. 600

    dataNode.memory.forceSyncEnable

    Description de la valeur par défaut Valeur par défaut
    Mettre true pour forcer la synchronisation si l'utilisation de la mémoire est trop élevée vrai

    dataNode.memory.forceSyncSegmentNum

    Description de la valeur par défaut Valeur par défaut
    nombre de segments à synchroniser, les segments dont le tampon est le plus grand seront synchronisés. 1

    dataNode.memory.checkInterval

    Description de la valeur par défaut Valeur par défaut
    intervalle de vérification de l'utilisation de la mémoire du datanode, en millisecondes 3000

    dataNode.memory.forceSyncWatermark

    Description de la valeur par défaut Valeur par défaut
    filigrane de mémoire pour l'autonome, lorsque ce filigrane est atteint, les segments sont synchronisés. 0.5

    dataNode.channel.workPoolSize

    Description de la valeur par défaut Valeur par défaut
  • spécifie la taille de la réserve de travail globale de tous les canaux
  • si ce paramètre <= 0, il sera défini comme le nombre maximal de CPU pouvant être exécutés
  • il est conseillé de l'augmenter pour les grandes collections afin d'éviter les blocages.
  • -1

    dataNode.channel.updateChannelCheckpointMaxParallel

    Description Valeur par défaut
  • spécifie la taille de la réserve de travail globale pour la mise à jour des points de contrôle du canal
  • si ce paramètre <= 0, il est fixé à 10
  • 10

    dataNode.channel.updateChannelCheckpointInterval

    Description de la valeur par défaut Valeur par défaut
    la durée de l'intervalle (en secondes) pour que le datanode mette à jour le point de contrôle de chaque canal 60

    dataNode.channel.updateChannelCheckpointRPCTimeout

    Description de la valeur par défaut Valeur par défaut
    délai d'attente en secondes pour l'appel RPC UpdateChannelCheckpoint 20

    dataNode.channel.maxChannelCheckpointsPerPRC

    Valeur par défaut Valeur par défaut
    Nombre maximal de points de contrôle du canal par appel RPC UpdateChannelCheckpoint. 128

    dataNode.channel.channelCheckpointUpdateTickInSeconds

    Description de la valeur par défaut Valeur par défaut
    Fréquence, en secondes, à laquelle l'outil de mise à jour des points de contrôle du canal exécute les mises à jour. 10

    dataNode.import.maxConcurrentTaskNum

    Description de la valeur par défaut Valeur par défaut
    Nombre maximal de tâches d'importation/pré-importation pouvant être exécutées simultanément sur un datanode. 16

    dataNode.import.maxImportFileSizeInGB

    Description de la valeur par défaut Valeur par défaut
    Taille maximale (en Go) d'un fichier d'importation, un fichier d'importation étant un fichier basé sur des lignes ou un ensemble de fichiers basés sur des colonnes. 16

    dataNode.import.readBufferSizeInMB

    Description de la valeur par défaut Valeur par défaut
    Taille du bloc de données (en Mo) lu dans le gestionnaire de blocs par le datanode lors de l'importation. 16

    dataNode.compaction.levelZeroBatchMemoryRatio

    Description de la valeur par défaut Valeur par défaut
    Rapport minimal de mémoire libre pour le compactage de niveau zéro exécuté en mode batch 0.05

    dataNode.compaction.levelZeroMaxBatchSize

    Description de la valeur par défaut Valeur par défaut
    La taille maximale du lot correspond au nombre maximal de segments L1/L2 dans un lot lors de l'exécution du compactage L0. La valeur par défaut est -1, toute valeur inférieure à 1 signifie qu'il n'y a pas de limite. Plage valide : >= 1. -1

    dataNode.gracefulStopTimeout

    Description Valeur par défaut
    secondes. forcer l'arrêt du nœud sans arrêt gracieux 1800

    dataNode.slot.slotCap

    Description de la valeur par défaut Valeur par défaut
    Nombre maximal de tâches (par exemple, compactage, importation) autorisées à s'exécuter simultanément sur un datanode. 16

    dataNode.clusteringCompaction.memoryBufferRatio

    Description de la valeur par défaut Valeur par défaut
    Le ratio de la mémoire tampon du compactage en grappe. Les données dont la taille est supérieure au seuil sont évacuées vers le stockage. 0.1

    dataNode.clusteringCompaction.workPoolSize

    Description de la valeur par défaut Valeur par défaut
    Taille du pool de travailleurs pour un travail de compactage de clustering. 8

    dataNode.ip

    Description de la valeur par défaut Valeur par défaut
    Adresse TCP/IP du nœud de données. Si elle n'est pas spécifiée, la première adresse non diffusable est utilisée.

    dataNode.port

    Description Valeur par défaut
    Port TCP du nœud de données 21124

    dataNode.grpc.serverMaxSendSize

    Description de la valeur par défaut Valeur par défaut
    Taille maximale de chaque requête RPC que le dataNode peut envoyer, unité : octet 536870912

    dataNode.grpc.serverMaxRecvSize

    Description de la valeur par défaut Valeur par défaut
    Taille maximale de chaque requête RPC que le dataNode peut recevoir, unité : octet 268435456

    dataNode.grpc.clientMaxSendSize

    Description de la valeur par défaut Valeur par défaut
    La taille maximale de chaque requête RPC que les clients du dataNode peuvent envoyer, unité : byte 268435456

    dataNode.grpc.clientMaxRecvSize

    Description de la valeur par défaut Valeur par défaut
    Taille maximale de chaque requête RPC que les clients du dataNode peuvent recevoir, unité : octet 536870912