milvus-logo
LFAI
Home
  • Guia de Administração

Configurações relacionadas com quotaAndLimits

QuotaConfig, configurações de quotas e limites do Milvus.

Por defeito, activamos:

  1. Proteção de TT;

  2. Proteção de memória.

  3. Proteção de quota de disco.

É possível ativar:

  1. Limitação da taxa de transferência DML;

  2. Limitação DDL, DQL qps/rps;

  3. Proteção do comprimento/latência da fila DQL;

  4. Proteção da taxa de resultados DQL;

Se necessário, também é possível forçar manualmente a recusa de pedidos RW.

quotaAndLimits.enabled

Descrição Valor por defeito
`true` para ativar quotas e limites, `false` para desativar. true

quotaAndLimits.quotaCenterCollectInterval

Descrição Valor por defeito
  • quotaCenterCollectInterval é o intervalo de tempo em que o quotaCenter
  • recolhe métricas de Proxies, Cluster de consulta e Cluster de dados.
  • segundos, (0 ~ 65536)
  • 3

    quotaAndLimits.limits.allocRetryTimes

    Descrição Valor predefinido
    tempos de repetição quando a atribuição de eliminação de dados de reencaminhamento do limite de taxa falhou 15

    quotaAndLimits.limits.allocWaitInterval

    Descrição Valor por defeito
    duração do tempo de espera da repetição quando a taxa de transmissão de dados da atribuição falhou, em milissegundos 1000

    quotaAndLimits.limits.complexDeleteLimitEnable

    Descrição Valor por defeito
    se a eliminação complexa verifica os dados de envio através de um limitador false

    quotaAndLimits.limits.maxCollectionNumPerDB

    Descrição Valor por defeito
    Número máximo de colecções por base de dados. 65536

    quotaAndLimits.limits.maxInsertSize

    Descrição Valor por defeito
    tamanho máximo de um único pedido de inserção, em bytes, -1 significa sem limite -1

    quotaAndLimits.limits.maxResourceGroupNumOfQueryNode

    Descrição Valor por defeito
    número máximo de grupos de recursos de nós de consulta 1024

    quotaAndLimits.ddl.enabled

    Descrição Valor por defeito
    Se a limitação dos pedidos DDL está activada. false

    quotaAndLimits.ddl.collectionRate

    Descrição Valor por defeito
  • Número máximo de pedidos DDL relacionados com a coleção por segundo.
  • Definir este item como 10 indica que o Milvus não processa mais de 10 pedidos DDL relacionados com a coleção por segundo, incluindo pedidos de criação de colecções, pedidos de eliminação de colecções, pedidos de carregamento de colecções e pedidos de libertação de colecções.
  • Para usar essa configuração, defina quotaAndLimits.ddl.enabled como true ao mesmo tempo.
  • -1

    quotaAndLimits.ddl.partitionRate

    Descrição Valor predefinido
  • Número máximo de solicitações DDL relacionadas à partição por segundo.
  • Definir este item como 10 indica que o Milvus não processa mais do que 10 pedidos relacionados com a partição por segundo, incluindo pedidos de criação de partições, pedidos de eliminação de partições, pedidos de carregamento de partições e pedidos de libertação de partições.
  • Para usar essa configuração, defina quotaAndLimits.ddl.enabled como true ao mesmo tempo.
  • -1

    quotaAndLimits.ddl.db.collectionRate

    Descrição Valor predefinido
    qps do nível db , predefinição sem limite, taxa para CreateCollection, DropCollection, LoadCollection, ReleaseCollection -1

    quotaAndLimits.ddl.db.partitionRate

    Descrição Valor por defeito
    qps do nível da base de dados, predefinição sem limite, taxa para CreatePartition, DropPartition, LoadPartition, ReleasePartition -1

    quotaAndLimits.indexRate.enabled

    Descrição Valor por defeito
    Se a limitação de pedidos relacionados com o índice está activada. falso

    quotaAndLimits.indexRate.max

    Descrição Valor predefinido
  • Número máximo de pedidos relacionados com o índice por segundo.
  • Definir este item como 10 indica que o Milvus não processa mais de 10 pedidos relacionados com a partição por segundo, incluindo pedidos de criação de índices e pedidos de eliminação de índices.
  • Para utilizar esta definição, defina quotaAndLimits.indexRate.enabled para true ao mesmo tempo.
  • -1

    quotaAndLimits.indexRate.db.max

    Descrição Valor predefinido
    qps do nível db, predefinição sem limite, taxa para CreateIndex, DropIndex -1

    quotaAndLimits.flushRate.enabled

    Descrição Valor por defeito
    Se a limitação dos pedidos de descarga está activada. verdadeiro

    quotaAndLimits.flushRate.max

    Descrição Valor por defeito
  • Número máximo de pedidos de descarga por segundo.
  • Se este item for definido como 10, indica que o Milvus não processa mais de 10 pedidos de descarga por segundo.
  • Para usar esta definição, defina quotaAndLimits.flushRate.enabled para true ao mesmo tempo.
  • -1

    quotaAndLimits.flushRate.collection.max

    Descrição Valor por defeito
    qps, predefinição sem limite, taxa de descarga ao nível da coleção. 0.1

    quotaAndLimits.flushRate.db.max

    Descrição Valor por defeito
    qps do nível db, predefinição sem limite, taxa de descarga -1

    quotaAndLimits.compactionRate.enabled

    Descrição Valor por defeito
    Se a limitação manual dos pedidos de compactação está activada. falso

    quotaAndLimits.compactionRate.max

    Descrição Valor por defeito
  • Número máximo de pedidos de compactação manual por segundo.
  • Definir este item como 10 indica que o Milvus não processa mais de 10 pedidos de compactação manual por segundo.
  • Para usar essa configuração, defina quotaAndLimits.compaction.enabled como true ao mesmo tempo.
  • -1

    quotaAndLimits.compactionRate.db.max

    Descrição Valor predefinido
    qps do nível db, predefinição sem limite, taxa para manualCompaction -1

    quotaAndLimits.dml.enabled

    Descrição Valor por defeito
    Se a limitação dos pedidos DML está activada. false

    quotaAndLimits.dml.insertRate.max

    Descrição Valor por defeito
  • Taxa máxima de inserção de dados por segundo.
  • Definir este item como 5 indica que o Milvus só permite a inserção de dados a uma velocidade de 5 MB/s.
  • Para utilizar esta definição, defina quotaAndLimits.dml.enabled para true ao mesmo tempo.
  • -1

    quotaAndLimits.dml.insertRate.db.max

    Descrição Valor por defeito
    MB/s, predefinição sem limite -1

    quotaAndLimits.dml.insertRate.collection.max

    Descrição Valor por defeito
  • Taxa máxima de inserção de dados por coleção e por segundo.
  • Definir este item como 5 indica que o Milvus só permite a inserção de dados em qualquer coleção a uma velocidade de 5 MB/s.
  • Para utilizar esta definição, defina ao mesmo tempo quotaAndLimits.dml.enabled para true.
  • -1

    quotaAndLimits.dml.insertRate.partition.max

    Descrição Valor por defeito
    MB/s, predefinição sem limite -1

    quotaAndLimits.dml.upsertRate.max

    Descrição Valor por defeito
    MB/s, predefinição sem limite -1

    quotaAndLimits.dml.upsertRate.db.max

    Descrição Valor por defeito
    MB/s, predefinição sem limite -1

    quotaAndLimits.dml.upsertRate.collection.max

    Descrição Valor por defeito
    MB/s, predefinição sem limite -1

    quotaAndLimits.dml.upsertRate.partition.max

    Descrição Valor por defeito
    MB/s, predefinição sem limite -1

    quotaAndLimits.dml.deleteRate.max

    Descrição Valor por defeito
  • Taxa máxima de eliminação de dados por segundo.
  • Definir este item como 0,1 indica que o Milvus só permite a eliminação de dados a uma velocidade de 0,1 MB/s.
  • Para usar essa configuração, defina quotaAndLimits.dml.enabled como true ao mesmo tempo.
  • -1

    quotaAndLimits.dml.deleteRate.db.max

    Descrição Valor por defeito
    MB/s, predefinição sem limite -1

    quotaAndLimits.dml.deleteRate.collection.max

    Descrição Valor por defeito
  • Taxa máxima de eliminação de dados por segundo.
  • Definir este item como 0,1 indica que o Milvus só permite a eliminação de dados de qualquer coleção a uma velocidade de 0,1 MB/s.
  • Para usar esta configuração, defina quotaAndLimits.dml.enabled para true ao mesmo tempo.
  • -1

    quotaAndLimits.dml.deleteRate.partition.max

    Descrição Valor predefinido
    MB/s, predefinição sem limite -1

    quotaAndLimits.dml.bulkLoadRate.max

    Descrição Valor por defeito
    MB/s, predefinição sem limite, ainda não suportado. TODO: limitar a taxa de bulkLoad -1

    quotaAndLimits.dml.bulkLoadRate.db.max

    Descrição Valor por defeito
    MB/s, por defeito sem limite, ainda não suportado. TODO: limitar db bulkLoad rate -1

    quotaAndLimits.dml.bulkLoadRate.collection.max

    Descrição Valor por defeito
    MB/s, predefinição sem limite, ainda não suportado. TODO: limitar a taxa de bulkLoad da coleção -1

    quotaAndLimits.dml.bulkLoadRate.partition.max

    Descrição Valor por defeito
    MB/s, predefinição sem limite, ainda não suportado. TODO: limitar a taxa de bulkLoad da partição -1

    quotaAndLimits.dql.enabled

    Descrição Valor por defeito
    Se a limitação de pedidos DQL está activada. falso

    quotaAndLimits.dql.searchRate.max

    Descrição Valor por defeito
  • Número máximo de vectores a pesquisar por segundo.
  • Definir este item como 100 indica que o Milvus só permite a pesquisa de 100 vectores por segundo, independentemente de estes 100 vectores estarem todos numa única pesquisa ou dispersos por várias pesquisas.
  • Para usar esta configuração, defina quotaAndLimits.dql.enabled para true ao mesmo tempo.
  • -1

    quotaAndLimits.dql.searchRate.db.max

    Descrição Valor predefinido
    vps (vectores por segundo), predefinição sem limite -1

    quotaAndLimits.dql.searchRate.collection.max

    Descrição Valor por defeito
  • Número máximo de vectores a pesquisar por coleção e por segundo.
  • Definir este item para 100 indica que o Milvus apenas permite a pesquisa de 100 vectores por segundo por coleção, independentemente de estes 100 vectores estarem todos numa única pesquisa ou dispersos por várias pesquisas.
  • Para utilizar esta definição, defina quotaAndLimits.dql.enabled para true ao mesmo tempo.
  • -1

    quotaAndLimits.dql.searchRate.partition.max

    Descrição Valor predefinido
    vps (vectores por segundo), predefinição sem limite -1

    quotaAndLimits.dql.queryRate.max

    Descrição Valor por defeito
  • Número máximo de consultas por segundo.
  • Definir este item como 100 indica que o Milvus só permite 100 consultas por segundo.
  • Para usar essa configuração, defina quotaAndLimits.dql.enabled como true ao mesmo tempo.
  • -1

    quotaAndLimits.dql.queryRate.db.max

    Descrição Valor por defeito
    qps, predefinição sem limite -1

    quotaAndLimits.dql.queryRate.collection.max

    Descrição Valor por defeito
  • Número máximo de consultas por coleção por segundo.
  • Se este item for definido como 100, indica que o Milvus só permite 100 consultas por coleção por segundo.
  • Para usar essa configuração, defina quotaAndLimits.dql.enabled como true ao mesmo tempo.
  • -1

    quotaAndLimits.dql.queryRate.partition.max

    Descrição Valor por defeito
    qps, predefinição sem limite -1

    quotaAndLimits.limitWriting.forceDeny

    Descrição Valor por defeito
  • forceDeny false significa que os pedidos dml são permitidos (exceto para algumas
  • condições específicas, como a memória dos nós para o marcador de água), true significa que rejeita sempre todos os pedidos dml.
  • false

    quotaAndLimits.limitWriting.ttProtection.maxTimeTickDelay

    Descrição Valor por defeito
  • maxTimeTickDelay indica a contrapressão para as operações DML.
  • As taxas de DML seriam reduzidas de acordo com o rácio entre o tempo de atraso do tique-taque e o maxTimeTickDelay,
  • Se o atraso do tique-taque for superior ao maxTimeTickDelay, todos os pedidos DML serão rejeitados.
  • segundos
  • 300

    quotaAndLimits.limitWriting.memProtection.enabled

    Descrição Valor por defeito
  • Quando o uso de memória > memoryHighWaterLevel, todos os pedidos dml serão rejeitados;
  • Quando memoryLowWaterLevel < memory usage < memoryHighWaterLevel, reduz a taxa de dml;
  • Quando o uso de memória < memoryLowWaterLevel, nenhuma ação.
  • verdadeiro

    quotaAndLimits.limitWriting.memProtection.dataNodeMemoryLowWaterLevel

    Descrição Valor predefinido
    (0, 1], memoryLowWaterLevel em DataNodes 0.85

    quotaAndLimits.limitWriting.memProtection.dataNodeMemoryHighWaterLevel

    Descrição Valor por defeito
    (0, 1], memoryHighWaterLevel em nós de dados 0.95

    quotaAndLimits.limitWriting.memProtection.queryNodeMemoryLowWaterLevel

    Descrição Valor por defeito
    (0, 1], memoryLowWaterLevel em QueryNodes 0.85

    quotaAndLimits.limitWriting.memProtection.queryNodeMemoryHighWaterLevel

    Descrição Valor por defeito
    (0, 1], memoryHighWaterLevel em QueryNodes 0.95

    quotaAndLimits.limitWriting.growingSegmentsSizeProtection.enabled

    Descrição Valor por defeito
  • Não será tomada qualquer ação se o tamanho dos segmentos em crescimento for inferior à marca de água baixa.
  • Quando o tamanho dos segmentos crescentes excede a marca de água baixa, a taxa dml será reduzida,
  • mas a taxa não será inferior a minRateRatio * dmlRate.
  • falso

    quotaAndLimits.limitWriting.diskProtection.enabled

    Descrição Valor predefinido
    Quando o tamanho total do ficheiro do armazenamento de objectos for superior a `diskQuota`, todos os pedidos dml serão rejeitados; true

    quotaAndLimits.limitWriting.diskProtection.diskQuota

    Descrição Valor por defeito
    MB, (0, +inf), predefinição sem limite -1

    quotaAndLimits.limitWriting.diskProtection.diskQuotaPerDB

    Descrição Valor por defeito
    MB, (0, +inf), predefinição sem limite -1

    quotaAndLimits.limitWriting.diskProtection.diskQuotaPerCollection

    Descrição Valor por defeito
    MB, (0, +inf), predefinição sem limite -1

    quotaAndLimits.limitWriting.diskProtection.diskQuotaPerPartition

    Descrição Valor por defeito
    MB, (0, +inf), predefinição sem limite -1

    quotaAndLimits.limitWriting.l0SegmentsRowCountProtection.enabled

    Descrição Valor por defeito
    para ativar a quota de contagem de linhas do segmento l0 falso

    quotaAndLimits.limitWriting.l0SegmentsRowCountProtection.lowWaterLevel

    Descrição Valor por defeito
    quota de contagem de linhas do segmento l0, nível de água baixo 32768

    quotaAndLimits.limitWriting.l0SegmentsRowCountProtection.highWaterLevel

    Descrição Valor por defeito
    quota de contagem de linhas do segmento l0, nível de água baixo 65536

    quotaAndLimits.limitReading.forceDeny

    Descrição Valor por defeito
  • forceDeny false significa que os pedidos dql são permitidos (exceto para algumas
  • condições específicas, como a recolha ter sido abandonada), true significa que rejeita sempre todos os pedidos dql.
  • false

    quotaAndLimits.limitReading.queueProtection.nqInQueueThreshold

    Descrição Valor por defeito
  • nqInQueueThreshold indica que o sistema estava sob contrapressão para o caminho de pesquisa/consulta.
  • Se o NQ na fila de qualquer QueryNode for superior a nqInQueueThreshold, as taxas de pesquisa e consulta arrefeceriam gradualmente
  • até que o NQ na fila deixe de exceder o nqInQueueThreshold. Consideramos o NQ do pedido de consulta como 1.
  • int, predefinição sem limite
  • -1

    quotaAndLimits.limitReading.queueProtection.queueLatencyThreshold

    Descrição Valor por defeito
  • queueLatencyThreshold indicava que o sistema estava sob contrapressão para o caminho de pesquisa/consulta.
  • Se a latência da fila de espera for superior a queueLatencyThreshold, as taxas de pesquisa e consulta arrefecerão gradualmente
  • até que a latência do enfileiramento deixasse de exceder o queueLatencyThreshold.
  • A latência aqui refere-se à latência média durante um período de tempo.
  • milissegundos, predefinição sem limite
  • -1

    quotaAndLimits.limitReading.resultProtection.maxReadResultRate

    Descrição Valor por defeito
  • maxReadResultRate indicava que o sistema estava sob contrapressão para o caminho de pesquisa/consulta.
  • Se a taxa de resultados de dql for superior a maxReadResultRate, as taxas de pesquisa e consulta arrefecerão gradualmente
  • até que a taxa de resultados de leitura não exceda mais a maxReadResultRate.
  • MB/s, predefinição sem limite
  • -1

    quotaAndLimits.limitReading.coolOffSpeed

    Descrição Valor por defeito
  • colOffSpeed é a velocidade de arrefecimento das taxas de pesquisa e consulta.
  • (0, 1]
  • 0.9

    Traduzido porDeepLogo

    Tabela de conteúdos

    Try Managed Milvus for Free

    Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

    Get Started
    Feedback

    Esta página foi útil?