Configurations relatives aux quotas et aux limites

QuotaConfig, configurations des quotas et limites de Milvus.

Par défaut, nous activons :

1. Protection TT ;

2. Protection de la mémoire.

3. Protection du quota de disque.

Vous pouvez activer :

1. Limitation du débit DML ;

2. la limitation du débit DDL, DQL ;

3. Protection de la longueur/latence de la file d'attente DQL ;

4. la protection du taux de résultat DQL ;

Si nécessaire, vous pouvez également forcer manuellement le refus des requêtes RW.

quotaAndLimits.enabled

Description	Valeur par défaut
`true` pour activer les quotas et les limites, `false` pour les désactiver.	true

quotaAndLimits.quotaCenterCollectInterval

Description	Valeur par défaut
quotaCenterCollectInterval est l'intervalle de temps pendant lequel quotaCenter collecte les métriques des proxies, du cluster de requêtes et du cluster de données. secondes, (0 ~ 65536)	3

quotaAndLimits.limits.allocRetryTimes

Description de la valeur par défaut	Valeur par défaut
Temps de réessai en cas d'échec de la suppression de l'allocation des données de la limite de débit	15

quotaAndLimits.limits.allocWaitInterval

Description de la valeur par défaut	Valeur par défaut
durée d'attente de la tentative en cas d'échec de la suppression de l'allocation de données à l'avance, en millisecondes	1000

quotaAndLimits.limits.complexDeleteLimitEnable

Description de la valeur par défaut	Valeur par défaut
si l'effacement complexe des données de contrôle d'acheminement par le limiteur	faux

quotaAndLimits.limits.maxCollectionNumPerDB

Description de la valeur par défaut	Valeur par défaut
Nombre maximal de collections par base de données.	65536

quotaAndLimits.limits.maxInsertSize

Description de la valeur par défaut	Valeur par défaut
taille maximale d'une demande d'insertion unique, en octets, -1 signifie aucune limite	-1

quotaAndLimits.limits.maxResourceGroupNumOfQueryNode

Description de la valeur par défaut	Valeur par défaut
nombre maximal de groupes de ressources de nœuds d'interrogation	1024

quotaAndLimits.ddl.enabled

Description	Valeur par défaut
Si la limitation des requêtes DDL est activée.	faux

quotaAndLimits.ddl.collectionRate

Description de la valeur par défaut

Valeur par défaut

Nombre maximum de requêtes DDL liées aux collections par seconde. La valeur 10 attribuée à cet élément indique que Milvus ne traite pas plus de 10 demandes DDL liées aux collections par seconde, y compris les demandes de création de collection, les demandes d'abandon de collection, les demandes de chargement de collection et les demandes de libération de collection. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.ddl.enabled sur true.

-1

quotaAndLimits.ddl.partitionRate

Description

Valeur par défaut

Nombre maximal de requêtes DDL liées à la partition par seconde. La définition de cet élément sur 10 indique que Milvus ne traite pas plus de 10 demandes liées à la partition par seconde, y compris les demandes de création de partition, les demandes d'abandon de partition, les demandes de chargement de partition et les demandes de libération de partition. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.ddl.enabled sur true.

-1

quotaAndLimits.ddl.db.collectionRate

Description	Valeur par défaut
qps du niveau de la base de données, pas de limite par défaut, taux pour CreateCollection, DropCollection, LoadCollection, ReleaseCollection	-1

quotaAndLimits.ddl.db.partitionRate

Description de la valeur par défaut	Valeur par défaut
qps du niveau de la base de données, pas de limite par défaut, taux pour CreatePartition, DropPartition, LoadPartition, ReleasePartition	-1

quotaAndLimits.indexRate.enabled

Description de la valeur par défaut	Valeur par défaut
Indique si la limitation des requêtes liées à l'index est activée.	faux

quotaAndLimits.indexRate.max

Description de la valeur par défaut	Valeur par défaut
Nombre maximum de requêtes liées à l'index par seconde. La définition de cet élément sur 10 indique que Milvus ne traite pas plus de 10 demandes liées à la partition par seconde, y compris les demandes de création et d'abandon d'index. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.indexRate.enabled sur true.	-1

quotaAndLimits.indexRate.db.max

Description	Valeur par défaut
qps du niveau de la base de données, pas de limite par défaut, taux pour CreateIndex, DropIndex	-1

quotaAndLimits.flushRate.enabled

Description de la valeur par défaut	Valeur par défaut
Indique si la limitation des demandes de vidange est activée.	vrai

quotaAndLimits.flushRate.max

Description	Valeur par défaut
Nombre maximum de demandes de vidange par seconde. La valeur 10 indique que Milvus ne traite pas plus de 10 demandes de vidange par seconde. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.flushRate.enabled sur true.	-1

quotaAndLimits.flushRate.collection.max

Description	Valeur par défaut
qps, pas de limite par défaut, taux de vidange au niveau de la collection.	0.1

quotaAndLimits.flushRate.db.max

Description de la valeur par défaut	Valeur par défaut
qps au niveau de la base de données, pas de limite par défaut, taux de vidange	-1

quotaAndLimits.compactionRate.enabled

Description de la valeur par défaut	Valeur par défaut
Indique si la limitation manuelle des demandes de compactage est activée.	faux

quotaAndLimits.compactionRate.max

Description de la valeur par défaut	Valeur par défaut
Nombre maximum de demandes de compactage manuel par seconde. La définition de cet élément sur 10 indique que Milvus ne traite pas plus de 10 demandes de compactage manuel par seconde. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.compaction.enabled sur true.	-1

quotaAndLimits.compactionRate.db.max

Description	Valeur par défaut
qps du niveau db, pas de limite par défaut, taux de compactage manuel	-1

quotaAndLimits.dml.enabled

Description de la valeur par défaut	Valeur par défaut
Indique si la limitation des requêtes DML est activée.	faux

quotaAndLimits.dml.insertRate.max

Description de la valeur par défaut	Valeur par défaut
Taux d'insertion de données le plus élevé par seconde. La définition de cet élément sur 5 indique que Milvus n'autorise que l'insertion de données au taux de 5 Mo/s. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dml.enabled sur true.	-1

quotaAndLimits.dml.insertRate.db.max

Description	Valeur par défaut
MB/s, pas de limite par défaut	-1

quotaAndLimits.dml.insertRate.collection.max

Description de la valeur par défaut	Valeur par défaut
Taux d'insertion de données le plus élevé par collection et par seconde. La valeur 5 indique que Milvus n'autorise l'insertion de données dans une collection qu'à la vitesse de 5 Mo/s. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dml.enabled sur true.	-1

quotaAndLimits.dml.insertRate.partition.max

Description	Valeur par défaut
MB/s, pas de limite par défaut	-1

quotaAndLimits.dml.upsertRate.max

Description de la valeur par défaut	Valeur par défaut
MB/s, pas de limite par défaut	-1

quotaAndLimits.dml.upsertRate.db.max

Description de la valeur par défaut	Valeur par défaut
MB/s, pas de limite par défaut	-1

quotaAndLimits.dml.upsertRate.collection.max

Description de la valeur par défaut	Valeur par défaut
MB/s, pas de limite par défaut	-1

quotaAndLimits.dml.upsertRate.partition.max

Description de la valeur par défaut	Valeur par défaut
MB/s, pas de limite par défaut	-1

quotaAndLimits.dml.deleteRate.max

Description de la valeur par défaut	Valeur par défaut
Taux de suppression de données le plus élevé par seconde. La définition de cet élément sur 0,1 indique que Milvus n'autorise que la suppression de données au taux de 0,1 Mo/s. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dml.enabled sur true.	-1

quotaAndLimits.dml.deleteRate.db.max

Description	Valeur par défaut
MB/s, pas de limite par défaut	-1

quotaAndLimits.dml.deleteRate.collection.max

Description de la valeur par défaut	Valeur par défaut
Taux de suppression de données le plus élevé par seconde. La définition de cet élément sur 0,1 indique que Milvus n'autorise la suppression de données d'une collection qu'à un taux de 0,1 Mo/s. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dml.enabled sur true.	-1

quotaAndLimits.dml.deleteRate.partition.max

Description	Valeur par défaut
MB/s, pas de limite par défaut	-1

quotaAndLimits.dml.bulkLoadRate.max

Description de la valeur par défaut	Valeur par défaut
MB/s, pas de limite par défaut, pas encore supporté. TODO : limiter le taux de bulkLoad	-1

quotaAndLimits.dml.bulkLoadRate.db.max

Description	Valeur par défaut
MB/s, pas de limite par défaut, pas de support pour l'instant. TODO : limit db bulkLoad rate	-1

quotaAndLimits.dml.bulkLoadRate.collection.max

Description	Valeur par défaut
MB/s, pas de limite par défaut, pas de support pour l'instant. TODO : limiter le taux de chargement de la collection	-1

quotaAndLimits.dml.bulkLoadRate.partition.max

Description	Valeur par défaut
MB/s, pas de limite par défaut, pas de support pour l'instant. TODO : limiter le taux de chargement en masse des partitions	-1

quotaAndLimits.dql.enabled

Description	Valeur par défaut
Indique si la limitation des requêtes DQL est activée.	faux

quotaAndLimits.dql.searchRate.max

Description de la valeur par défaut	Valeur par défaut
Nombre maximum de vecteurs à rechercher par seconde. La valeur 100 indique que Milvus n'autorise que la recherche de 100 vecteurs par seconde, que ces 100 vecteurs soient tous regroupés dans une seule recherche ou dispersés dans plusieurs recherches. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dql.enabled sur true.	-1

quotaAndLimits.dql.searchRate.db.max

Description	Valeur par défaut
vps (vecteurs par seconde), pas de limite par défaut	-1

quotaAndLimits.dql.searchRate.collection.max

Description de la valeur par défaut	Valeur par défaut
Nombre maximum de vecteurs à rechercher par collection et par seconde. La valeur 100 indique que Milvus n'autorise que la recherche de 100 vecteurs par seconde et par collection, que ces 100 vecteurs soient regroupés dans une seule recherche ou dispersés dans plusieurs recherches. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dql.enabled sur true.	-1

quotaAndLimits.dql.searchRate.partition.max

Description	Valeur par défaut
vps (vecteurs par seconde), pas de limite par défaut	-1

quotaAndLimits.dql.queryRate.max

Description de la valeur par défaut	Valeur par défaut
Nombre maximum de requêtes par seconde. La valeur 100 indique que Milvus n'autorise que 100 requêtes par seconde. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dql.enabled sur true.	-1

quotaAndLimits.dql.queryRate.db.max

Description	Valeur par défaut
qps, pas de limite par défaut	-1

quotaAndLimits.dql.queryRate.collection.max

Description de la valeur par défaut	Valeur par défaut
Nombre maximum de requêtes par collection et par seconde. La valeur 100 indique que Milvus n'autorise que 100 requêtes par collection et par seconde. Pour utiliser ce paramètre, définissez en même temps quotaAndLimits.dql.enabled sur true.	-1

quotaAndLimits.dql.queryRate.partition.max

Description	Valeur par défaut
qps, pas de limite par défaut	-1

quotaAndLimits.limitWriting.forceDeny

Description de la valeur par défaut	Valeur par défaut
forceDeny false signifie que les requêtes dml sont autorisées (sauf pour certaines conditions spécifiques, telles que la mémoire des nœuds pour le marqueur d'eau), true signifie que toutes les demandes dml sont toujours rejetées.	false

quotaAndLimits.limitWriting.ttProtection.maxTimeTickDelay

Description	Valeur par défaut
maxTimeTickDelay indique la contre-pression pour les opérations DML. Les taux de DML sont réduits en fonction du rapport entre le délai d'attente et maxTimeTickDelay, si le délai est supérieur à maxTimeTickDelay, toutes les demandes DML sont rejetées. secondes	300

quotaAndLimits.limitWriting.memProtection.enabled

Description de la valeur par défaut	Valeur par défaut
Lorsque l'utilisation de la mémoire > memoryHighWaterLevel, toutes les demandes DML sont rejetées ; Lorsque memoryLowWaterLevel < memory usage < memoryHighWaterLevel, réduire le taux de dml ; Lorsque l'utilisation de la mémoire est inférieure à memoryLowWaterLevel, aucune action n'est entreprise.	vrai

quotaAndLimits.limitWriting.memProtection.dataNodeMemoryLowWaterLevel

Description de l'option	Valeur par défaut
(0, 1], memoryLowWaterLevel dans les DataNodes	0.85

quotaAndLimits.limitWriting.memProtection.dataNodeMemoryHighWaterLevel

Valeur par défaut (0, 1), memoryLowWaterLevel dans les DataNodes	Valeur par défaut
(0, 1], memoryHighWaterLevel dans les DataNodes	0.95

quotaAndLimits.limitWriting.memProtection.queryNodeMemoryLowWaterLevel

Valeur par défaut (0, 1), memoryHighWaterLevel dans les DataNodes	Valeur par défaut
(0, 1], memoryLowWaterLevel dans les QueryNodes	0.85

quotaAndLimits.limitWriting.memProtection.queryNodeMemoryHighWaterLevel

Valeur par défaut (0, 1), memoryLowWaterLevel dans QueryNodes	Valeur par défaut
(0, 1], memoryHighWaterLevel dans QueryNodes	0.95

quotaAndLimits.limitWriting.growingSegmentsSizeProtection.enabled

Valeur par défaut (0, 1), memoryHighWaterLevel dans QueryNodes	Valeur par défaut
Aucune action ne sera entreprise si la taille des segments croissants est inférieure au filigrane bas. Lorsque la taille des segments croissants est supérieure au filigrane bas, le taux de dml sera réduit, mais le taux ne sera pas inférieur à minRateRatio * dmlRate.	faux

quotaAndLimits.limitWriting.diskProtection.enabled

Description	Valeur par défaut
Lorsque la taille totale du fichier du stockage objet est supérieure à `diskQuota`, toutes les demandes de dml sont rejetées ;	true

quotaAndLimits.limitWriting.diskProtection.diskQuota

Description	Valeur par défaut
MB, (0, +inf), pas de limite par défaut	-1

quotaAndLimits.limitWriting.diskProtection.diskQuotaPerDB

Description de la valeur par défaut	Valeur par défaut
MB, (0, +inf), pas de limite par défaut	-1

quotaAndLimits.limitWriting.diskProtection.diskQuotaPerCollection

Description de la valeur par défaut	Valeur par défaut
MB, (0, +inf), pas de limite par défaut	-1

quotaAndLimits.limitWriting.diskProtection.diskQuotaPerPartition

Description de la valeur par défaut	Valeur par défaut
MB, (0, +inf), pas de limite par défaut	-1

quotaAndLimits.limitWriting.l0SegmentsRowCountProtection.enabled

Description de la valeur par défaut	Valeur par défaut
switch pour activer le quota de nombre de lignes du segment l0	faux

quotaAndLimits.limitWriting.l0SegmentsRowCountProtection.lowWaterLevel

Description	Valeur par défaut
l0 segment row count quota, low water level (niveau d'eau bas)	32768

quotaAndLimits.limitWriting.l0SegmentsRowCountProtection.highWaterLevel

Description	Valeur par défaut
l0 segment row count quota, low water level	65536

quotaAndLimits.limitReading.forceDeny

Description de la valeur par défaut	Valeur par défaut
forceDeny false signifie que les requêtes dql sont autorisées (sauf pour certaines conditions spécifiques, telles que la collecte a été abandonnée), true signifie que toutes les requêtes dql sont toujours rejetées.	false

quotaAndLimits.limitReading.queueProtection.nqInQueueThreshold

Description

Valeur par défaut

nqInQueueThreshold indique que le système subit une contre-pression pour le chemin de recherche/requête. Si le nombre de requêtes dans la file d'attente d'un QueryNode est supérieur au seuil nqInQueueThreshold, les taux de recherche et de requête diminuent progressivement. jusqu'à ce que le NQ dans la file d'attente ne dépasse plus le seuil nqInQueueThreshold. Nous considérons que le NQ de la demande de requête est égal à 1. int, par défaut no limit

-1

quotaAndLimits.limitReading.queueProtection.queueLatencyThreshold

Description de la valeur par défaut

Valeur par défaut

queueLatencyThreshold indique que le système subit une contre-pression pour le chemin de recherche/requête. Si la latence de la file d'attente est supérieure au seuil de latence de la file d'attente, les taux de recherche et de requête diminuent progressivement jusqu'à ce que la latence de la file d'attente ne dépasse plus le seuil de latence de la file d'attente. jusqu'à ce que la latence de la file d'attente ne dépasse plus le seuil de latence de la file d'attente. La latence se réfère ici à la latence moyenne sur une période de temps. millisecondes, par défaut pas de limite

-1

quotaAndLimits.limitReading.resultProtection.maxReadResultRate

Description de la valeur par défaut

Valeur par défaut

maxReadResultRate indique que le système subit une contre-pression pour le chemin de recherche/interrogation. Si le taux de résultats dql est supérieur à maxReadResultRate, les taux de recherche et d'interrogation diminuent progressivement jusqu'à ce que le taux de résultats de lecture ne dépasse plus maxReadResultRate. jusqu'à ce que le taux de résultat de lecture ne dépasse plus maxReadResultRate. MB/s, pas de limite par défaut

-1

quotaAndLimits.limitReading.coolOffSpeed

Description de l'option	Valeur par défaut
colOffSpeed est la vitesse de refroidissement des taux de recherche et de requête. (0, 1]	0.9