Liste de contrôle des configurations du système Milvus

Cette rubrique présente les sections générales des configurations du système dans Milvus.

Milvus gère un nombre considérable de paramètres qui configurent le système. Chaque configuration a une valeur par défaut qui peut être utilisée directement. Vous pouvez modifier ces paramètres de manière flexible afin que Milvus puisse mieux servir votre application. Voir Configurer Milvus pour plus d'informations.

Sections

Pour faciliter la maintenance, Milvus classe ses configurations en %s sections en fonction de ses composants, de ses dépendances et de son utilisation générale.

etcd

Configuration liée à etcd, utilisée pour stocker les métadonnées de Milvus et la découverte de services.

Voir Configurations liées à etcd pour une description détaillée de chaque paramètre de cette section.

metastore

Voir les configurations relatives au métastore pour une description détaillée de chaque paramètre de cette section.

tikv

Configuration connexe de tikv, utilisée pour stocker les métadonnées Milvus.

Notez que lorsque TiKV est activé pour le métastore, vous devez toujours avoir etcd pour la découverte des services.

TiKV est une bonne option lorsque la taille des métadonnées nécessite une meilleure évolutivité horizontale.

Voir les Configurations liées à tikv pour une description détaillée de chaque paramètre de cette section.

localStorage

Voir les configurations liées à localStorage pour une description détaillée de chaque paramètre de cette section.

minio

La configuration associée de MinIO/S3/GCS ou de tout autre service prend en charge l'API S3, qui est responsable de la persistance des données pour Milvus.

Par souci de simplicité, nous désignons le service de stockage par MinIO/S3 dans la description suivante.

Voir les Configurations liées à Minio pour une description détaillée de chaque paramètre de cette section.

mq

Milvus prend en charge quatre MQ : rocksmq (basé sur RockDB), natsmq (serveur nats intégré), Pulsar et Kafka.

Vous pouvez changer de MQ en définissant le champ mq.type.

Si vous ne définissez pas le champ mq.type par défaut, il y a une note sur l'activation de la priorité si nous configurons plusieurs mq dans ce fichier.

1. mode autonome (local) : rocksmq(default) > natsmq > Pulsar > Kafka

2. mode cluster : Pulsar(default) > Kafka (rocksmq et natsmq ne sont pas supportés en mode cluster)

Voir les Configurations liées à mq pour une description détaillée de chaque paramètre de cette section.

pulsar

Configuration connexe de pulsar, utilisée pour gérer les journaux Milvus des opérations de mutation récentes, produire des journaux en continu et fournir des services de publication et d'abonnement de journaux.

Voir Configurations liées à pulsar pour une description détaillée de chaque paramètre de cette section.

rocksmq

Si vous souhaitez activer kafka, vous devez commenter les configurations de pulsar

kafka :

brokerList :

saslUsername :

saslPassword :

saslMechanisms :

securityProtocol :

ssl :

enabled: false # whether to enable ssl mode

tlsCert:  # path to client's public key (PEM) used for authentication

tlsKey:  # path to client's private key (PEM) used for authentication

tlsCaCert:  # file or directory path to CA certificate(s) for verifying the broker's key

tlsKeyPassword:  # private key passphrase for use with ssl.key.location and set_ssl_cert(), if any

readTimeout : 10

Voir les configurations liées à rocksmq pour une description détaillée de chaque paramètre de cette section.

natsmq

Configuration natsmq.

plus de détails : https://docs.nats.io/running-a-nats-service/configuration

Voir les configurations liées à natsmq pour une description détaillée de chaque paramètre de cette section.

rootCoord

Configuration connexe de rootCoord, utilisée pour traiter les requêtes en langage de définition des données (DDL) et en langage de contrôle des données (DCL).

Voir les configurations relatives à rootCoord pour une description détaillée de chaque paramètre de cette section.

proxy

Configuration connexe du proxy, utilisée pour valider les demandes des clients et réduire les résultats renvoyés.

Voir les configurations relatives au proxy pour une description détaillée de chaque paramètre de cette section.

queryCoord

Configuration connexe de queryCoord, utilisée pour gérer la topologie et l'équilibrage de la charge pour les nœuds de requête, et le transfert de segments croissants vers des segments scellés.

Voir les configurations liées à queryCoord pour une description détaillée de chaque paramètre de cette section.

queryNode

Configuration connexe du nœud de requête, utilisée pour effectuer une recherche hybride entre les données vectorielles et scalaires.

Voir les configurations liées à queryNode pour une description détaillée de chaque paramètre de cette section.

indexCoord

Voir les configurations liées à indexCoord pour une description détaillée de chaque paramètre de cette section.

indexNode

Voir les configurations liées à indexNode pour une description détaillée de chaque paramètre de cette section.

dataCoord

Pour une description détaillée de chaque paramètre de cette section, voir les Configurations liées à dataCoord.

dataNode

Voir les configurations liées aux nœuds de données pour une description détaillée de chaque paramètre de cette section.

msgChannel

Cette rubrique présente les configurations de Milvus liées au canal de messages.

Voir Configurations liées au canal de messages pour une description détaillée de chaque paramètre de cette section.

log

Configure la sortie du journal du système.

Voir les Configurations relatives au journal pour une description détaillée de chaque paramètre de cette section.

grpc

Voir les configurations relatives à grpc pour une description détaillée de chaque paramètre de cette section.

tls

Configure l'activation du proxy tls.

Voir les configurations relatives à tls pour une description détaillée de chaque paramètre de cette section.

common

Voir les configurations liées à common pour une description détaillée de chaque paramètre de cette section.

quotaAndLimits

QuotaConfig, configuration des quotas et des limites de Milvus.

Par défaut, nous activons

1. Protection TT ;

2. Protection de la mémoire.

3. Protection du quota de disque.

Vous pouvez activer :

1. Limitation du débit DML ;

2. la limitation du débit DDL, DQL ;

3. Protection de la longueur/latence de la file d'attente DQL ;

4. la protection du taux de résultat DQL ;

Si nécessaire, vous pouvez également forcer manuellement le refus des requêtes RW.

Voir les configurations relatives aux quotas et aux limites pour une description détaillée de chaque paramètre de cette section.

trace

Voir les configurations relatives à la trace pour une description détaillée de chaque paramètre de cette section.

gpu

#Lors de l'utilisation de l'indexation GPU, Milvus utilisera un pool de mémoire pour éviter l'allocation et la désallocation fréquentes de la mémoire.

#Ici, vous pouvez définir la taille de la mémoire occupée par le pool de mémoire, l'unité étant le Mo.

#note that there is a possibility of Milvus crashing when the actual memory demand exceeds the value set by maxMemSize.

#Si initMemSize et MaxMemSize sont tous deux à zéro,

#Milvus initialisera automatiquement la moitié de la mémoire GPU disponible,

#maxMemSize initialisera la totalité de la mémoire disponible sur le GPU.

Voir les Configurations liées au GPU pour une description détaillée de chaque paramètre de cette section.