Limiter le nombre de collections

Une instance Milvus autorise jusqu'à 65 536 collections. Toutefois, un trop grand nombre de collections peut entraîner des problèmes de performances. Il est donc recommandé de limiter le nombre de collections créées dans une instance Milvus.

Ce guide explique comment limiter le nombre de collections dans une instance Milvus.

La configuration varie en fonction du mode d'installation de l'instance Milvus.

• Pour les instances Milvus installées à l'aide de Helm Charts

  Ajouter la configuration au fichier values.yaml dans la section config. Pour plus de détails, voir Configurer Milvus avec Helm Charts.

• Pour les instances Milvus installées à l'aide de Docker Compose

  Ajouter la configuration au fichier milvus.yaml que vous avez utilisé pour démarrer l'instance Milvus. Pour plus de détails, voir Configurer Milvus avec Docker Compose.

• Pour les instances Milvus installées à l'aide de Operator

  Ajouter la configuration à la section spec.components de la ressource personnalisée Milvus. Pour plus de détails, voir Configurer Milvus avec Operator.

Options de configuration

rootCoord:
    maxGeneralCapacity: 65536

Le paramètre maxGeneralCapacity définit le nombre maximum de collections que l'instance Milvus actuelle peut contenir. La valeur par défaut est 65536.

Calcul du nombre de collections

Dans une collection, il est possible de configurer de multiples shards et partitions. Les groupes sont des unités logiques utilisées pour répartir les opérations d'écriture de données entre plusieurs nœuds de données. Les partitions sont des unités logiques utilisées pour améliorer l'efficacité de la récupération des données en ne chargeant qu'un sous-ensemble des données de la collection. Lorsque vous calculez le nombre de collections dans l'instance actuelle de Milvus, vous devez également compter les unités de stockage (shards) et les partitions.

Par exemple, supposons que vous ayez déjà créé 100 collections, avec 2 tessons et 4 partitions dans 60 d'entre elles et avec 1 tesson et 12 partitions dans les 40 autres collections. Le nombre actuel de collections peut être calculé comme suit :

60 (collections) x 2 (shards) x 4 (partitions) + 40 (collections) x 1 (shard) x 12 (partitions) = 960

Dans l'exemple ci-dessus, vous avez déjà utilisé 960 des limites par défaut. Maintenant, si vous voulez créer une nouvelle collection avec 4 tessons et 20 partitions, vous recevrez l'invite d'erreur suivante parce que le nombre total de collections dépasse la capacité maximale :

failed checking constraint: sum_collections(parition*shard) exceeding the max general capacity:

Pour éviter cette erreur, vous pouvez soit réduire le nombre de tessons ou de partitions dans les collections existantes ou nouvelles, soit supprimer certaines collections, soit augmenter la valeur de maxGeneralCapacity.