Begrenzung der Anzahl der Sammlungen

Eine Milvus-Instanz erlaubt bis zu 65.536 Sammlungen. Zu viele Sammlungen können jedoch zu Leistungsproblemen führen. Daher ist es empfehlenswert, die Anzahl der in einer Milvus-Instanz erstellten Sammlungen zu begrenzen.

Dieser Leitfaden enthält Anweisungen, wie Sie die Anzahl der Sammlungen in einer Milvus-Instanz begrenzen können.

Die Konfiguration hängt von der Art und Weise ab, wie Sie die Milvus-Instanz installieren.

• Für Milvus-Instanzen, die mit Helm Charts installiert wurden

  Fügen Sie die Konfiguration in die Datei values.yaml unter dem Abschnitt config ein. Einzelheiten finden Sie unter Konfigurieren von Milvus mit Helm Charts.

• Für Milvus-Instanzen, die mit Docker Compose installiert wurden

  Fügen Sie die Konfiguration in die Datei milvus.yaml ein, die Sie zum Starten der Milvus-Instanz verwendet haben. Einzelheiten finden Sie unter Konfigurieren von Milvus mit Docker Compose.

• Für Milvus-Instanzen, die mit Operator installiert wurden

  Fügen Sie die Konfiguration in den Abschnitt spec.components der benutzerdefinierten Ressource Milvus ein. Weitere Informationen finden Sie unter Konfigurieren von Milvus mit Operator.

Konfigurationsoptionen

rootCoord:
    maxGeneralCapacity: 65536

Der Parameter maxGeneralCapacity legt die maximale Anzahl von Sammlungen fest, die die aktuelle Milvus-Instanz enthalten kann. Der Standardwert ist 65536.

Berechnen der Anzahl der Sammlungen

In einer Sammlung können Sie mehrere Shards und Partitionen einrichten. Shards sind logische Einheiten, die verwendet werden, um Datenschreiboperationen auf mehrere Datenknoten zu verteilen. Partitionen sind logische Einheiten, die dazu dienen, die Effizienz der Datenabfrage zu verbessern, indem nur eine Teilmenge der Sammlungsdaten geladen wird. Wenn Sie die Anzahl der Sammlungen in der aktuellen Milvus-Instanz berechnen, müssen Sie auch die Shards und Partitionen zählen.

Nehmen wir zum Beispiel an, dass Sie bereits 100 Sammlungen erstellt haben, von denen 60 2 Shards und 4 Partitionen und die restlichen 40 Sammlungen 1 Shard und 12 Partitionen enthalten. Die Gesamtzahl der Sammeleinheiten (berechnet als shards × partitions) kann wie folgt ermittelt werden:

60 (collections) x 2 (shards) x 4 (partitions) + 40 (collections) x 1 (shard) x 12 (partitions) = 960

In diesem Beispiel entspricht die berechnete Gesamtzahl von 960 Sammeleinheiten der aktuellen Nutzung. Die maxGeneralCapacity definiert die maximale Anzahl von Sammeleinheiten, die eine Instanz unterstützen kann, die standardmäßig auf 65536 eingestellt ist. Das bedeutet, dass die Instanz bis zu 65.536 Sammeleinheiten aufnehmen kann. Wenn die Gesamtzahl diese Grenze überschreitet, zeigt das System die folgende Fehlermeldung an:

failed checking constraint: sum_collections(parition*shard) exceeding the max general capacity:

Um diesen Fehler zu vermeiden, können Sie entweder die Anzahl der Shards oder Partitionen in bestehenden oder neuen Sammlungen reduzieren, einige Sammlungen löschen oder den Wert maxGeneralCapacity erhöhen.