milvus-logo
LFAI
Home
  • Guide d'administration

Configurations relatives aux quotas et aux limites

QuotaConfig, configurations des quotas et limites de Milvus.

Par défaut, nous activons :

  1. Protection TT ;

  2. Protection de la mémoire.

  3. Protection du quota de disque.

Vous pouvez activer :

  1. Limitation du débit DML ;

  2. la limitation du débit DDL, DQL ;

  3. Protection de la longueur/latence de la file d'attente DQL ;

  4. la protection du taux de résultat DQL ;

Si nécessaire, vous pouvez également forcer manuellement le refus des requêtes RW.

quotaAndLimits.enabled

Description Valeur par défaut
`true` pour activer les quotas et les limites, `false` pour les désactiver. true

quotaAndLimits.quotaCenterCollectInterval

Description Valeur par défaut
  • quotaCenterCollectInterval est l'intervalle de temps pendant lequel quotaCenter
  • collecte les métriques des proxies, du cluster de requêtes et du cluster de données.
  • secondes, (0 ~ 65536)
  • 3

    quotaAndLimits.limits.allocRetryTimes

    Description de la valeur par défaut Valeur par défaut
    Temps de réessai en cas d'échec de la suppression de l'allocation des données de la limite de débit 15

    quotaAndLimits.limits.allocWaitInterval

    Description de la valeur par défaut Valeur par défaut
    durée d'attente de la tentative en cas d'échec de la suppression de l'allocation de données à l'avance, en millisecondes 1000

    quotaAndLimits.limits.complexDeleteLimitEnable

    Description de la valeur par défaut Valeur par défaut
    si l'effacement complexe des données de contrôle d'acheminement par le limiteur faux

    quotaAndLimits.limits.maxCollectionNumPerDB

    Description de la valeur par défaut Valeur par défaut
    Nombre maximal de collections par base de données. 65536

    quotaAndLimits.limits.maxInsertSize

    Description de la valeur par défaut Valeur par défaut
    taille maximale d'une demande d'insertion unique, en octets, -1 signifie aucune limite -1

    quotaAndLimits.limits.maxResourceGroupNumOfQueryNode

    Description de la valeur par défaut Valeur par défaut
    nombre maximal de groupes de ressources de nœuds d'interrogation 1024

    quotaAndLimits.ddl.enabled

    Description Valeur par défaut
    Si la limitation des requêtes DDL est activée. faux

    quotaAndLimits.ddl.collectionRate

    Description de la valeur par défaut Valeur par défaut
  • Nombre maximum de requêtes DDL liées aux collections par seconde.
  • La valeur 10 attribuée à cet élément indique que Milvus ne traite pas plus de 10 demandes DDL liées aux collections par seconde, y compris les demandes de création de collection, les demandes d'abandon de collection, les demandes de chargement de collection et les demandes de libération de collection.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.ddl.enabled sur true.
  • -1

    quotaAndLimits.ddl.partitionRate

    Description Valeur par défaut
  • Nombre maximal de requêtes DDL liées à la partition par seconde.
  • La définition de cet élément sur 10 indique que Milvus ne traite pas plus de 10 demandes liées à la partition par seconde, y compris les demandes de création de partition, les demandes d'abandon de partition, les demandes de chargement de partition et les demandes de libération de partition.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.ddl.enabled sur true.
  • -1

    quotaAndLimits.ddl.db.collectionRate

    Description Valeur par défaut
    qps du niveau de la base de données, pas de limite par défaut, taux pour CreateCollection, DropCollection, LoadCollection, ReleaseCollection -1

    quotaAndLimits.ddl.db.partitionRate

    Description de la valeur par défaut Valeur par défaut
    qps du niveau de la base de données, pas de limite par défaut, taux pour CreatePartition, DropPartition, LoadPartition, ReleasePartition -1

    quotaAndLimits.indexRate.enabled

    Description de la valeur par défaut Valeur par défaut
    Indique si la limitation des requêtes liées à l'index est activée. faux

    quotaAndLimits.indexRate.max

    Description de la valeur par défaut Valeur par défaut
  • Nombre maximum de requêtes liées à l'index par seconde.
  • La définition de cet élément sur 10 indique que Milvus ne traite pas plus de 10 demandes liées à la partition par seconde, y compris les demandes de création et d'abandon d'index.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.indexRate.enabled sur true.
  • -1

    quotaAndLimits.indexRate.db.max

    Description Valeur par défaut
    qps du niveau de la base de données, pas de limite par défaut, taux pour CreateIndex, DropIndex -1

    quotaAndLimits.flushRate.enabled

    Description de la valeur par défaut Valeur par défaut
    Indique si la limitation des demandes de vidange est activée. vrai

    quotaAndLimits.flushRate.max

    Description Valeur par défaut
  • Nombre maximum de demandes de vidange par seconde.
  • La valeur 10 indique que Milvus ne traite pas plus de 10 demandes de vidange par seconde.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.flushRate.enabled sur true.
  • -1

    quotaAndLimits.flushRate.collection.max

    Description Valeur par défaut
    qps, pas de limite par défaut, taux de vidange au niveau de la collection. 0.1

    quotaAndLimits.flushRate.db.max

    Description de la valeur par défaut Valeur par défaut
    qps au niveau de la base de données, pas de limite par défaut, taux de vidange -1

    quotaAndLimits.compactionRate.enabled

    Description de la valeur par défaut Valeur par défaut
    Indique si la limitation manuelle des demandes de compactage est activée. faux

    quotaAndLimits.compactionRate.max

    Description de la valeur par défaut Valeur par défaut
  • Nombre maximum de demandes de compactage manuel par seconde.
  • La définition de cet élément sur 10 indique que Milvus ne traite pas plus de 10 demandes de compactage manuel par seconde.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.compaction.enabled sur true.
  • -1

    quotaAndLimits.compactionRate.db.max

    Description Valeur par défaut
    qps du niveau db, pas de limite par défaut, taux de compactage manuel -1

    quotaAndLimits.dml.enabled

    Description de la valeur par défaut Valeur par défaut
    Indique si la limitation des requêtes DML est activée. faux

    quotaAndLimits.dml.insertRate.max

    Description de la valeur par défaut Valeur par défaut
  • Taux d'insertion de données le plus élevé par seconde.
  • La définition de cet élément sur 5 indique que Milvus n'autorise que l'insertion de données au taux de 5 Mo/s.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dml.enabled sur true.
  • -1

    quotaAndLimits.dml.insertRate.db.max

    Description Valeur par défaut
    MB/s, pas de limite par défaut -1

    quotaAndLimits.dml.insertRate.collection.max

    Description de la valeur par défaut Valeur par défaut
  • Taux d'insertion de données le plus élevé par collection et par seconde.
  • La valeur 5 indique que Milvus n'autorise l'insertion de données dans une collection qu'à la vitesse de 5 Mo/s.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dml.enabled sur true.
  • -1

    quotaAndLimits.dml.insertRate.partition.max

    Description Valeur par défaut
    MB/s, pas de limite par défaut -1

    quotaAndLimits.dml.upsertRate.max

    Description de la valeur par défaut Valeur par défaut
    MB/s, pas de limite par défaut -1

    quotaAndLimits.dml.upsertRate.db.max

    Description de la valeur par défaut Valeur par défaut
    MB/s, pas de limite par défaut -1

    quotaAndLimits.dml.upsertRate.collection.max

    Description de la valeur par défaut Valeur par défaut
    MB/s, pas de limite par défaut -1

    quotaAndLimits.dml.upsertRate.partition.max

    Description de la valeur par défaut Valeur par défaut
    MB/s, pas de limite par défaut -1

    quotaAndLimits.dml.deleteRate.max

    Description de la valeur par défaut Valeur par défaut
  • Taux de suppression de données le plus élevé par seconde.
  • La définition de cet élément sur 0,1 indique que Milvus n'autorise que la suppression de données au taux de 0,1 Mo/s.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dml.enabled sur true.
  • -1

    quotaAndLimits.dml.deleteRate.db.max

    Description Valeur par défaut
    MB/s, pas de limite par défaut -1

    quotaAndLimits.dml.deleteRate.collection.max

    Description de la valeur par défaut Valeur par défaut
  • Taux de suppression de données le plus élevé par seconde.
  • La définition de cet élément sur 0,1 indique que Milvus n'autorise la suppression de données d'une collection qu'à un taux de 0,1 Mo/s.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dml.enabled sur true.
  • -1

    quotaAndLimits.dml.deleteRate.partition.max

    Description Valeur par défaut
    MB/s, pas de limite par défaut -1

    quotaAndLimits.dml.bulkLoadRate.max

    Description de la valeur par défaut Valeur par défaut
    MB/s, pas de limite par défaut, pas encore supporté. TODO : limiter le taux de bulkLoad -1

    quotaAndLimits.dml.bulkLoadRate.db.max

    Description Valeur par défaut
    MB/s, pas de limite par défaut, pas de support pour l'instant. TODO : limit db bulkLoad rate -1

    quotaAndLimits.dml.bulkLoadRate.collection.max

    Description Valeur par défaut
    MB/s, pas de limite par défaut, pas de support pour l'instant. TODO : limiter le taux de chargement de la collection -1

    quotaAndLimits.dml.bulkLoadRate.partition.max

    Description Valeur par défaut
    MB/s, pas de limite par défaut, pas de support pour l'instant. TODO : limiter le taux de chargement en masse des partitions -1

    quotaAndLimits.dql.enabled

    Description Valeur par défaut
    Indique si la limitation des requêtes DQL est activée. faux

    quotaAndLimits.dql.searchRate.max

    Description de la valeur par défaut Valeur par défaut
  • Nombre maximum de vecteurs à rechercher par seconde.
  • La valeur 100 indique que Milvus n'autorise que la recherche de 100 vecteurs par seconde, que ces 100 vecteurs soient tous regroupés dans une seule recherche ou dispersés dans plusieurs recherches.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dql.enabled sur true.
  • -1

    quotaAndLimits.dql.searchRate.db.max

    Description Valeur par défaut
    vps (vecteurs par seconde), pas de limite par défaut -1

    quotaAndLimits.dql.searchRate.collection.max

    Description de la valeur par défaut Valeur par défaut
  • Nombre maximum de vecteurs à rechercher par collection et par seconde.
  • La valeur 100 indique que Milvus n'autorise que la recherche de 100 vecteurs par seconde et par collection, que ces 100 vecteurs soient regroupés dans une seule recherche ou dispersés dans plusieurs recherches.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dql.enabled sur true.
  • -1

    quotaAndLimits.dql.searchRate.partition.max

    Description Valeur par défaut
    vps (vecteurs par seconde), pas de limite par défaut -1

    quotaAndLimits.dql.queryRate.max

    Description de la valeur par défaut Valeur par défaut
  • Nombre maximum de requêtes par seconde.
  • La valeur 100 indique que Milvus n'autorise que 100 requêtes par seconde.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dql.enabled sur true.
  • -1

    quotaAndLimits.dql.queryRate.db.max

    Description Valeur par défaut
    qps, pas de limite par défaut -1

    quotaAndLimits.dql.queryRate.collection.max

    Description de la valeur par défaut Valeur par défaut
  • Nombre maximum de requêtes par collection et par seconde.
  • La valeur 100 indique que Milvus n'autorise que 100 requêtes par collection et par seconde.
  • Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dql.enabled sur true.
  • -1

    quotaAndLimits.dql.queryRate.partition.max

    Description Valeur par défaut
    qps, pas de limite par défaut -1

    quotaAndLimits.limitWriting.forceDeny

    Description de la valeur par défaut Valeur par défaut
  • forceDeny false signifie que les requêtes dml sont autorisées (sauf pour certaines
  • conditions spécifiques, telles que la mémoire des nœuds pour le marqueur d'eau), true signifie que toutes les demandes dml sont toujours rejetées.
  • false

    quotaAndLimits.limitWriting.ttProtection.maxTimeTickDelay

    Description Valeur par défaut
  • maxTimeTickDelay indique la contre-pression pour les opérations DML.
  • Les taux de DML sont réduits en fonction du rapport entre le délai d'attente et maxTimeTickDelay,
  • si le délai est supérieur à maxTimeTickDelay, toutes les demandes DML sont rejetées.
  • secondes
  • 300

    quotaAndLimits.limitWriting.memProtection.enabled

    Description de la valeur par défaut Valeur par défaut
  • Lorsque l'utilisation de la mémoire > memoryHighWaterLevel, toutes les demandes DML sont rejetées ;
  • Lorsque memoryLowWaterLevel < memory usage < memoryHighWaterLevel, réduire le taux de dml ;
  • Lorsque l'utilisation de la mémoire est inférieure à memoryLowWaterLevel, aucune action n'est entreprise.
  • vrai

    quotaAndLimits.limitWriting.memProtection.dataNodeMemoryLowWaterLevel

    Description de l'option Valeur par défaut
    (0, 1], memoryLowWaterLevel dans les DataNodes 0.85

    quotaAndLimits.limitWriting.memProtection.dataNodeMemoryHighWaterLevel

    Valeur par défaut (0, 1), memoryLowWaterLevel dans les DataNodes Valeur par défaut
    (0, 1], memoryHighWaterLevel dans les DataNodes 0.95

    quotaAndLimits.limitWriting.memProtection.queryNodeMemoryLowWaterLevel

    Valeur par défaut (0, 1), memoryHighWaterLevel dans les DataNodes Valeur par défaut
    (0, 1], memoryLowWaterLevel dans les QueryNodes 0.85

    quotaAndLimits.limitWriting.memProtection.queryNodeMemoryHighWaterLevel

    Valeur par défaut (0, 1), memoryLowWaterLevel dans QueryNodes Valeur par défaut
    (0, 1], memoryHighWaterLevel dans QueryNodes 0.95

    quotaAndLimits.limitWriting.growingSegmentsSizeProtection.enabled

    Valeur par défaut (0, 1), memoryHighWaterLevel dans QueryNodes Valeur par défaut
  • Aucune action ne sera entreprise si la taille des segments croissants est inférieure au filigrane bas.
  • Lorsque la taille des segments croissants est supérieure au filigrane bas, le taux de dml sera réduit,
  • mais le taux ne sera pas inférieur à minRateRatio * dmlRate.
  • faux

    quotaAndLimits.limitWriting.diskProtection.enabled

    Description Valeur par défaut
    Lorsque la taille totale du fichier du stockage objet est supérieure à `diskQuota`, toutes les demandes de dml sont rejetées ; true

    quotaAndLimits.limitWriting.diskProtection.diskQuota

    Description Valeur par défaut
    MB, (0, +inf), pas de limite par défaut -1

    quotaAndLimits.limitWriting.diskProtection.diskQuotaPerDB

    Description de la valeur par défaut Valeur par défaut
    MB, (0, +inf), pas de limite par défaut -1

    quotaAndLimits.limitWriting.diskProtection.diskQuotaPerCollection

    Description de la valeur par défaut Valeur par défaut
    MB, (0, +inf), pas de limite par défaut -1

    quotaAndLimits.limitWriting.diskProtection.diskQuotaPerPartition

    Description de la valeur par défaut Valeur par défaut
    MB, (0, +inf), pas de limite par défaut -1

    quotaAndLimits.limitWriting.l0SegmentsRowCountProtection.enabled

    Description de la valeur par défaut Valeur par défaut
    switch pour activer le quota de nombre de lignes du segment l0 faux

    quotaAndLimits.limitWriting.l0SegmentsRowCountProtection.lowWaterLevel

    Description Valeur par défaut
    l0 segment row count quota, low water level (niveau d'eau bas) 32768

    quotaAndLimits.limitWriting.l0SegmentsRowCountProtection.highWaterLevel

    Description Valeur par défaut
    l0 segment row count quota, low water level 65536

    quotaAndLimits.limitReading.forceDeny

    Description de la valeur par défaut Valeur par défaut
  • forceDeny false signifie que les requêtes dql sont autorisées (sauf pour certaines
  • conditions spécifiques, telles que la collecte a été abandonnée), true signifie que toutes les requêtes dql sont toujours rejetées.
  • false

    quotaAndLimits.limitReading.queueProtection.nqInQueueThreshold

    Description Valeur par défaut
  • nqInQueueThreshold indique que le système subit une contre-pression pour le chemin de recherche/requête.
  • Si le nombre de requêtes dans la file d'attente d'un QueryNode est supérieur au seuil nqInQueueThreshold, les taux de recherche et de requête diminuent progressivement.
  • jusqu'à ce que le NQ dans la file d'attente ne dépasse plus le seuil nqInQueueThreshold. Nous considérons que le NQ de la demande de requête est égal à 1.
  • int, par défaut no limit
  • -1

    quotaAndLimits.limitReading.queueProtection.queueLatencyThreshold

    Description de la valeur par défaut Valeur par défaut
  • queueLatencyThreshold indique que le système subit une contre-pression pour le chemin de recherche/requête.
  • Si la latence de la file d'attente est supérieure au seuil de latence de la file d'attente, les taux de recherche et de requête diminuent progressivement jusqu'à ce que la latence de la file d'attente ne dépasse plus le seuil de latence de la file d'attente.
  • jusqu'à ce que la latence de la file d'attente ne dépasse plus le seuil de latence de la file d'attente.
  • La latence se réfère ici à la latence moyenne sur une période de temps.
  • millisecondes, par défaut pas de limite
  • -1

    quotaAndLimits.limitReading.resultProtection.maxReadResultRate

    Description de la valeur par défaut Valeur par défaut
  • maxReadResultRate indique que le système subit une contre-pression pour le chemin de recherche/interrogation.
  • Si le taux de résultats dql est supérieur à maxReadResultRate, les taux de recherche et d'interrogation diminuent progressivement jusqu'à ce que le taux de résultats de lecture ne dépasse plus maxReadResultRate.
  • jusqu'à ce que le taux de résultat de lecture ne dépasse plus maxReadResultRate.
  • MB/s, pas de limite par défaut
  • -1

    quotaAndLimits.limitReading.coolOffSpeed

    Description de l'option Valeur par défaut
  • colOffSpeed est la vitesse de refroidissement des taux de recherche et de requête.
  • (0, 1]
  • 0.9

    Traduit parDeepL

    Table de contenu

    Try Managed Milvus for Free

    Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

    Get Started
    Feedback

    Cette page a-t - elle été utile ?