Begrenzung der Anzahl der Sammlungen

Eine Milvus-Instanz erlaubt bis zu 65.536 Sammlungen. Zu viele Sammlungen können jedoch zu Leistungsproblemen führen. Daher ist es empfehlenswert, die Anzahl der in einer Milvus-Instanz erstellten Sammlungen zu begrenzen.

Dieser Leitfaden enthält Anweisungen, wie Sie die Anzahl der Sammlungen in einer Milvus-Instanz begrenzen können.

Die Konfiguration hängt von der Art und Weise ab, wie Sie die Milvus-Instanz installieren.

• Für Milvus-Instanzen, die mit Helm Charts installiert wurden

  Fügen Sie die Konfiguration in die Datei values.yaml unter dem Abschnitt config ein. Einzelheiten finden Sie unter Konfigurieren von Milvus mit Helm Charts.

• Für Milvus-Instanzen, die mit Docker Compose installiert wurden

  Fügen Sie die Konfiguration in die Datei milvus.yaml ein, die Sie zum Starten der Milvus-Instanz verwendet haben. Einzelheiten finden Sie unter Konfigurieren von Milvus mit Docker Compose.

• Für Milvus-Instanzen, die mit Operator installiert wurden

  Fügen Sie die Konfiguration in den Abschnitt spec.components der benutzerdefinierten Ressource Milvus ein. Weitere Informationen finden Sie unter Konfigurieren von Milvus mit Operator.

Konfigurationsoptionen

rootCoord:
    maxGeneralCapacity: 65536

Der Parameter maxGeneralCapacity legt die maximale Anzahl von Sammlungen fest, die die aktuelle Milvus-Instanz enthalten kann. Der Standardwert ist 65536.

Berechnen der Anzahl der Sammlungen

In einer Sammlung können Sie mehrere Shards und Partitionen einrichten. Shards sind logische Einheiten, die verwendet werden, um Datenschreiboperationen auf mehrere Datenknoten zu verteilen. Partitionen sind logische Einheiten, die dazu dienen, die Effizienz der Datenabfrage zu verbessern, indem nur eine Teilmenge der Sammlungsdaten geladen wird. Wenn Sie die Anzahl der Sammlungen in der aktuellen Milvus-Instanz berechnen, müssen Sie auch die Shards und Partitionen zählen.

Nehmen wir zum Beispiel an, Sie haben bereits 100 Sammlungen angelegt, von denen 60 mit 2 Shards und 4 Partitionen und die restlichen 40 mit 1 Shard und 12 Partitionen ausgestattet sind. Die aktuelle Anzahl der Sammlungen kann wie folgt berechnet werden:

60 (collections) x 2 (shards) x 4 (partitions) + 40 (collections) x 1 (shard) x 12 (partitions) = 960

Im obigen Beispiel haben Sie bereits 960 der Standardgrenzen genutzt. Wenn Sie nun eine neue Sammlung mit 4 Shards und 20 Partitionen erstellen möchten, erhalten Sie folgende Fehlermeldung, da die Gesamtzahl der Sammlungen die maximale Kapazität überschreitet:

failed checking constraint: sum_collections(parition*shard) exceeding the max general capacity:

Um diesen Fehler zu vermeiden, können Sie entweder die Anzahl der Shards oder Partitionen in bestehenden oder neuen Sammlungen reduzieren, einige Sammlungen löschen oder den Wert maxGeneralCapacity erhöhen.