Milvus
Zilliz
Главная

Конфигурации, связанные с квотами и лимитами

QuotaConfig, конфигурации квот и лимитов Milvus.

По умолчанию мы включаем:

  1. Защита TT;

  2. Защита памяти.

  3. Защита дисковых квот.

Вы можете включить:

  1. Ограничение пропускной способности DML;

  2. DDL, DQL qps/rps ограничение;

  3. Защита длины/латентности очереди DQL;

  4. защиту скорости обработки результатов DQL;

При необходимости вы также можете вручную принудительно запретить запросы RW.

quotaAndLimits.enabled

Описание Значение по умолчанию
`true` для включения квот и лимитов, `false` для отключения. false

quotaAndLimits.quotaCenterCollectInterval

Описание Значение по умолчанию
  • quotaCenterCollectInterval - интервал времени, в течение которого quotaCenter
  • собирает метрики с прокси, кластера запросов и кластера данных.
  • секунды, (0 ~ 65536)
    		•  3

    quotaAndLimits.limits.allocRetryTimes

    Описание Значение по умолчанию
    время повторных попыток при неудачном удалении данных, переадресованных из rate limit 15

    quotaAndLimits.limits.allocWaitInterval

    Описание Значение по умолчанию
    длительность ожидания повторной попытки при неудачном удалении данных пересылки, в миллисекундах 1000

    quotaAndLimits.limits.complexDeleteLimitEnable

    Описание Значение по умолчанию
    удалять ли комплексное удаление данных пересылки по ограничителю false

    quotaAndLimits.limits.maxCollectionNumPerDB

    Описание Значение по умолчанию
    Максимальное количество коллекций в базе данных. 65536

    quotaAndLimits.limits.maxInsertSize

    Описание Значение по умолчанию
    максимальный размер одного запроса на вставку, в байтах, -1 означает отсутствие ограничений -1

    quotaAndLimits.limits.maxResourceGroupNumOfQueryNode

    Описание Значение по умолчанию
    максимальное количество групп ресурсов узлов запроса 1024

    quotaAndLimits.limits.maxGroupSize

    Описание Значение по умолчанию
    максимальный размер одной группы при выполнении поиска по группам 10

    quotaAndLimits.ddl.enabled

    Описание Значение по умолчанию
    Включено ли дросселирование DDL-запросов. false

    quotaAndLimits.ddl.collectionRate

    Описание Значение по умолчанию
  • Максимальное количество связанных с коллекцией DDL-запросов в секунду.
  • Установка этого параметра в значение 10 означает, что Milvus обрабатывает не более 10 связанных с коллекцией DDL-запросов в секунду, включая запросы на создание коллекции, запросы на удаление коллекции, запросы на загрузку коллекции и запросы на освобождение коллекции.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.ddl.enabled в true.
    		•  -1

    quotaAndLimits.ddl.partitionRate

    Описание Значение по умолчанию
  • Максимальное количество DDL-запросов, связанных с разделами, в секунду.
  • Установка этого параметра в значение 10 означает, что Milvus обрабатывает не более 10 связанных с разделами запросов в секунду, включая запросы на создание разделов, запросы на удаление разделов, запросы на загрузку разделов и запросы на освобождение разделов.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.ddl.enabled в true.
    		•  -1

    quotaAndLimits.ddl.db.collectionRate

    Описание Значение по умолчанию
    qps уровня db, по умолчанию без ограничений, скорость для CreateCollection, DropCollection, LoadCollection, ReleaseCollection -1

    quotaAndLimits.ddl.db.partitionRate

    Описание Значение по умолчанию
    qps уровня базы данных, по умолчанию без ограничений, скорость для CreatePartition, DropPartition, LoadPartition, ReleasePartition -1

    quotaAndLimits.indexRate.enabled

    Описание Значение по умолчанию
    Включено ли дросселирование запросов, связанных с индексами. false

    quotaAndLimits.indexRate.max

    Описание Значение по умолчанию
  • Максимальное количество связанных с индексом запросов в секунду.
  • Установка этого параметра в значение 10 означает, что Milvus обрабатывает не более 10 запросов, связанных с разделами, в секунду, включая запросы на создание индекса и запросы на сброс индекса.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.indexRate.enabled в true.
    		•  -1

    quotaAndLimits.indexRate.db.max

    Описание Значение по умолчанию
    qps уровня db, по умолчанию без ограничений, скорость для CreateIndex, DropIndex -1

    quotaAndLimits.flushRate.enabled

    Описание Значение по умолчанию
    Включено ли дросселирование запросов на флэш. true

    quotaAndLimits.flushRate.max

    Описание Значение по умолчанию
  • Максимальное количество запросов на промывку в секунду.
  • Установка этого параметра в значение 10 означает, что Milvus обрабатывает не более 10 запросов на промывку в секунду.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.flushRate.enabled в true.
    		•  -1

    quotaAndLimits.flushRate.collection.max

    Описание Значение по умолчанию
    qps, по умолчанию без ограничений, скорость смыва на уровне коллекции. 0.1

    quotaAndLimits.flushRate.db.max

    Описание Значение по умолчанию
    qps на уровне db, по умолчанию без ограничений, скорость для смыва -1

    quotaAndLimits.compactionRate.enabled

    Описание Значение по умолчанию
    Включено ли ручное дросселирование запросов на уплотнение. false

    quotaAndLimits.compactionRate.max

    Описание Значение по умолчанию
  • Максимальное количество запросов на ручное уплотнение в секунду.
  • Установка этого параметра в значение 10 означает, что Milvus обрабатывает не более 10 запросов на ручное уплотнение в секунду.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.compaction.enabled в true.
    		•  -1

    quotaAndLimits.compactionRate.db.max

    Описание Значение по умолчанию
    qps уровня db, по умолчанию без ограничений, скорость для ручного уплотнения -1

    quotaAndLimits.dml.enabled

    Описание Значение по умолчанию
    Включено ли дросселирование DML-запросов. false

    quotaAndLimits.dml.insertRate.max

    Описание Значение по умолчанию
  • Наибольшая скорость вставки данных в секунду.
  • Установка этого параметра в значение 5 означает, что Milvus разрешает вставку данных только со скоростью 5 МБ/с.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.dml.enabled в true.
    		•  -1

    quotaAndLimits.dml.insertRate.db.max

    Описание Значение по умолчанию
    МБ/с, по умолчанию без ограничений -1

    quotaAndLimits.dml.insertRate.collection.max

    Описание Значение по умолчанию
  • Наибольшая скорость вставки данных в коллекцию в секунду.
  • Установка этого параметра в значение 5 означает, что Milvus разрешает вставку данных в любую коллекцию со скоростью 5 МБ/с.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.dml.enabled в true.
    		•  -1

    quotaAndLimits.dml.insertRate.partition.max

    Описание Значение по умолчанию
    МБ/с, по умолчанию без ограничений -1

    quotaAndLimits.dml.upsertRate.max

    Описание Значение по умолчанию
    МБ/с, по умолчанию без ограничения -1

    quotaAndLimits.dml.upsertRate.db.max

    Описание Значение по умолчанию
    МБ/с, по умолчанию без ограничения -1

    quotaAndLimits.dml.upsertRate.collection.max

    Описание Значение по умолчанию
    МБ/с, по умолчанию без ограничения -1

    quotaAndLimits.dml.upsertRate.partition.max

    Описание Значение по умолчанию
    МБ/с, по умолчанию без ограничения -1

    quotaAndLimits.dml.deleteRate.max

    Описание Значение по умолчанию
  • Наибольшая скорость удаления данных в секунду.
  • Установка этого параметра в 0,1 означает, что Milvus разрешает удаление данных только со скоростью 0,1 МБ/с.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.dml.enabled в true.
    		•  -1

    quotaAndLimits.dml.deleteRate.db.max

    Описание Значение по умолчанию
    МБ/с, по умолчанию без ограничений -1

    quotaAndLimits.dml.deleteRate.collection.max

    Описание Значение по умолчанию
  • Наибольшая скорость удаления данных в секунду.
  • Установка этого параметра в 0,1 означает, что Milvus разрешает удаление данных из любой коллекции только со скоростью 0,1 МБ/с.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.dml.enabled в true.
    		•  -1

    quotaAndLimits.dml.deleteRate.partition.max

    Описание Значение по умолчанию
    МБ/с, по умолчанию без ограничений -1

    quotaAndLimits.dml.bulkLoadRate.max

    Описание Значение по умолчанию
    МБ/с, по умолчанию без ограничений, пока не поддерживается. TODO: ограничить скорость bulkLoad -1

    quotaAndLimits.dml.bulkLoadRate.db.max

    Описание Значение по умолчанию
    МБ/с, по умолчанию нет ограничений, пока не поддерживается. TODO: ограничить db bulkLoad rate -1

    quotaAndLimits.dml.bulkLoadRate.collection.max

    Описание Значение по умолчанию
    МБ/с, по умолчанию нет ограничений, пока не поддерживается. TODO: ограничить скорость загрузки коллекции (bulkLoad rate) -1

    quotaAndLimits.dml.bulkLoadRate.partition.max

    Описание Значение по умолчанию
    МБ/с, по умолчанию нет ограничений, пока не поддерживается. TODO: ограничить скорость загрузки разделов (partition bulkLoad rate) -1

    quotaAndLimits.dql.enabled

    Описание Значение по умолчанию
    Включено ли дросселирование запросов DQL. false

    quotaAndLimits.dql.searchRate.max

    Описание Значение по умолчанию
  • Максимальное количество векторов для поиска в секунду.
  • Установка этого параметра в значение 100 означает, что Milvus разрешает поиск только 100 векторов в секунду, независимо от того, находятся ли эти 100 векторов в одном поиске или разбросаны по нескольким поискам.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.dql.enabled в true.
    		•  -1

    quotaAndLimits.dql.searchRate.db.max

    Описание Значение по умолчанию
    vps (векторы в секунду), по умолчанию без ограничений -1

    quotaAndLimits.dql.searchRate.collection.max

    Описание Значение по умолчанию
  • Максимальное количество векторов для поиска в одной коллекции в секунду.
  • Установка этого параметра в значение 100 означает, что Milvus разрешает поиск только 100 векторов в секунду на коллекцию, независимо от того, находятся ли эти 100 векторов в одном поиске или разбросаны по нескольким поискам.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.dql.enabled в true.
    		•  -1

    quotaAndLimits.dql.searchRate.partition.max

    Описание Значение по умолчанию
    vps (векторы в секунду), по умолчанию без ограничений -1

    quotaAndLimits.dql.queryRate.max

    Описание Значение по умолчанию
  • Максимальное количество запросов в секунду.
  • Установка этого параметра в значение 100 означает, что Milvus разрешает только 100 запросов в секунду.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.dql.enabled в true.
    		•  -1

    quotaAndLimits.dql.queryRate.db.max

    Описание Значение по умолчанию
    qps, по умолчанию без ограничений -1

    quotaAndLimits.dql.queryRate.collection.max

    Описание Значение по умолчанию
  • Максимальное количество запросов на коллекцию в секунду.
  • Установка этого параметра в значение 100 означает, что Milvus разрешает только 100 запросов на коллекцию в секунду.
  • Чтобы использовать этот параметр, одновременно установите quotaAndLimits.dql.enabled в true.
    		•  -1

    quotaAndLimits.dql.queryRate.partition.max

    Описание Значение по умолчанию
    qps, по умолчанию без ограничений -1

    quotaAndLimits.limitWriting.forceDeny

    Описание Значение по умолчанию
  • forceDeny false означает, что dml-запросы разрешены (за исключением некоторых
  • определенных условий, таких как память узлов для маркера воды), true означает всегда отклонять все dml-запросы.
    		•  false

    quotaAndLimits.limitWriting.ttProtection.maxTimeTickDelay

    Описание Значение по умолчанию
  • maxTimeTickDelay указывает на обратное давление для DML-операций.
  • Скорость DML будет снижена в соответствии с отношением временной задержки тиков к maxTimeTickDelay,
  • если временная задержка тиков больше, чем maxTimeTickDelay, все запросы DML будут отклонены.
  • секунды
    		•  300

    quotaAndLimits.limitWriting.memProtection.enabled

    Описание Значение по умолчанию
  • Если использование памяти > memoryHighWaterLevel, все запросы DML будут отклонены;
  • Когда memoryLowWaterLevel < memory usage < memoryHighWaterLevel, уменьшите скорость dml;
  • Когда использование памяти < memoryLowWaterLevel, никаких действий.
    		•  истина

    quotaAndLimits.limitWriting.memProtection.dataNodeMemoryLowWaterLevel

    Описание Значение по умолчанию
    (0, 1], memoryLowWaterLevel в DataNodes 0.85

    quotaAndLimits.limitWriting.memProtection.dataNodeMemoryHighWaterLevel

    Описание Значение по умолчанию
    (0, 1], memoryHighWaterLevel в DataNodes 0.95

    quotaAndLimits.limitWriting.memProtection.queryNodeMemoryLowWaterLevel

    Описание Значение по умолчанию
    (0, 1], memoryLowWaterLevel в QueryNodes 0.85

    quotaAndLimits.limitWriting.memProtection.queryNodeMemoryHighWaterLevel

    Описание Значение по умолчанию
    (0, 1], memoryHighWaterLevel в QueryNodes 0.95

    quotaAndLimits.limitWriting.growingSegmentsSizeProtection.enabled

    Описание Значение по умолчанию
  • Если размер растущих сегментов меньше нижнего водяного знака, никаких действий предприниматься не будет.
  • Если размер растущих сегментов превышает нижний водяной знак, скорость dml будет снижена,
  • но скорость не будет ниже, чем minRateRatio * dmlRate.
    		•  false

    quotaAndLimits.limitWriting.diskProtection.enabled

    Описание Значение по умолчанию
    Когда общий размер файлов в хранилище объектов превышает `diskQuota`, все запросы dml будут отклонены; true

    quotaAndLimits.limitWriting.diskProtection.diskQuota

    Описание Значение по умолчанию
    МБ, (0, +inf), по умолчанию нет ограничений -1

    quotaAndLimits.limitWriting.diskProtection.diskQuotaPerDB

    Описание Значение по умолчанию
    МБ, (0, +inf), по умолчанию без ограничений -1

    quotaAndLimits.limitWriting.diskProtection.diskQuotaPerCollection

    Описание Значение по умолчанию
    МБ, (0, +inf), по умолчанию без ограничений -1

    quotaAndLimits.limitWriting.diskProtection.diskQuotaPerPartition

    Описание Значение по умолчанию
    МБ, (0, +inf), по умолчанию без ограничений -1

    quotaAndLimits.limitWriting.l0SegmentsRowCountProtection.enabled

    Описание Значение по умолчанию
    переключатель для включения квоты на количество строк сегмента l0 false

    quotaAndLimits.limitWriting.l0SegmentsRowCountProtection.lowWaterLevel

    Описание Значение по умолчанию
    Квота подсчета строк сегмента l0, низкий уровень воды 30000000

    quotaAndLimits.limitWriting.l0SegmentsRowCountProtection.highWaterLevel

    Описание Значение по умолчанию
    l0 сегментный ряд квот, высокий уровень воды 50000000

    quotaAndLimits.limitWriting.deleteBufferRowCountProtection.enabled

    Описание Значение по умолчанию
    переключатель для включения удаления квоты на подсчет строк буфера ложь

    quotaAndLimits.limitWriting.deleteBufferRowCountProtection.lowWaterLevel

    Описание Значение по умолчанию
    удаление квоты на подсчет строк буфера, низкий уровень воды 32768

    quotaAndLimits.limitWriting.deleteBufferRowCountProtection.highWaterLevel

    Описание Значение по умолчанию
    удалить квоту подсчета буферных рядов, высокий уровень воды 65536

    quotaAndLimits.limitWriting.deleteBufferSizeProtection.enabled

    Описание Значение по умолчанию
    переключатель для включения квоты на удаление размера буфера false

    quotaAndLimits.limitWriting.deleteBufferSizeProtection.lowWaterLevel

    Описание Значение по умолчанию
    удаление квоты на размер буфера, низкий уровень воды 134217728

    quotaAndLimits.limitWriting.deleteBufferSizeProtection.highWaterLevel

    Описание Значение по умолчанию
    удалить квоту на размер буфера, высокий уровень воды 268435456

    quotaAndLimits.limitReading.forceDeny

    Описание Значение по умолчанию
  • forceDeny false означает, что dql-запросы разрешены (за исключением некоторых
  • определенных условий, например, коллекция была сброшена), true означает всегда отклонять все dql-запросы.
    		•  false
    Содержание

    Попробуйте Managed Milvus бесплатно

    Zilliz Cloud работает без проблем, поддерживается Milvus и в 10 раз быстрее.

    Начать
    Обратная связь

    Была ли эта страница полезной?