Checkliste für Milvus-Systemkonfigurationen

In diesem Abschnitt werden die allgemeinen Bereiche der Systemkonfigurationen in Milvus vorgestellt.

Milvus verfügt über eine beträchtliche Anzahl von Parametern zur Systemkonfiguration. Jede Konfiguration hat einen Standardwert, der direkt verwendet werden kann. Sie können diese Parameter flexibel anpassen, damit Milvus Ihre Anwendung optimal unterstützt. Weitere Informationen finden Sie unter „Milvus konfigurieren “.

Abschnitte

Zur Vereinfachung der Wartung unterteilt Milvus seine Konfigurationen anhand der Komponenten, Abhängigkeiten und der allgemeinen Verwendung in Abschnitte.

etcd

Zugehörige Konfiguration von etcd, das zum Speichern von Milvus-Metadaten und zur Dienstermittlung verwendet wird.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „etcd-bezogene Konfigurationen “.

metastore

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „Metastore-bezogene Konfigurationen “.

tikv

Zugehörige Konfiguration von tikv, die zur Speicherung von Milvus-Metadaten verwendet wird.

Beachten Sie, dass Sie auch dann, wenn TiKV für den Metastore aktiviert ist, etcd für die Dienstermittlung benötigen.

TiKV ist eine gute Option, wenn die Größe der Metadaten eine bessere horizontale Skalierbarkeit erfordert.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den Konfigurationen zu TiKV.

localStorage

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den Konfigurationen zu „localStorage “.

minio

Zugehörige Konfiguration von MinIO/S3/GCS oder einem anderen Dienst, der die S3-API unterstützt, die für die Datenpersistenz bei Milvus zuständig ist.

Der Einfachheit halber bezeichnen wir den Speicherdienst in der folgenden Beschreibung als MinIO/S3.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „Konfigurationen zu MinIO “.

mq

Milvus unterstützt vier MQ: rocksmq (basierend auf RockDB), Pulsar, Kafka und Woodpecker.

Sie können den MQ ändern, indem Sie das Feld „mq.type“ festlegen.

Wenn Sie das Feld „mq.type“ nicht auf den Standardwert setzen, gibt es einen Hinweis zur Aktivierung der Priorität, falls in dieser Datei mehrere MQ-Dienste konfiguriert werden.

1. Standalone-Modus (lokal): rocksmq (Standard) > Pulsar > Kafka

2. Cluster-Modus: Pulsar (Standard) > Kafka (rocksmq wird im Cluster-Modus nicht unterstützt)

3. Woodpecker kann sowohl im Standalone- als auch im Cluster-Modus verwendet werden, indem „mq.type“ auf „woodpecker“ gesetzt wird.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „mq-bezogene Konfigurationen “.

pulsar

Zugehörige Konfiguration von Pulsar, die zur Verwaltung der Milvus-Protokolle der letzten Mutationsvorgänge, des Ausgabestreaming-Protokolls sowie zur Bereitstellung von Log-Publish-Subscribe-Diensten dient.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den „Pulsar-bezogenen Konfigurationen “.

rocksmq

Wenn Sie Kafka aktivieren möchten, müssen Sie die Pulsar-Konfigurationen auskommentieren

kafka:

brokerList: localhost:9092

saslUsername:

saslPassword:

saslMechanisms:

Sicherheitsprotokoll:

ssl:

enabled: false # whether to enable ssl mode

tlsCert:  # path to client's public key (PEM) used for authentication

tlsKey:  # path to client's private key (PEM) used for authentication

tlsCaCert:  # file or directory path to CA certificate(s) for verifying the broker's key

tlsKeyPassword:  # private key passphrase for use with ssl.key.location and set_ssl_cert(), if any

Lese-Timeout: 10

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „Konfigurationen im Zusammenhang mit RocksMQ “.

rootCoord

Zugehörige Konfiguration von „rootCoord“, die zur Verarbeitung von DDL- (Data Definition Language) und DCL- (Data Control Language) Anfragen verwendet wird

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den „rootCoord“-bezogenen Konfigurationen.

proxy

Zugehörige Konfiguration von „proxy“, die zur Validierung von Client-Anfragen und zur Reduzierung der zurückgegebenen Ergebnisse verwendet wird.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den Konfigurationen zu „proxy “.

queryCoord

Zugehörige Konfiguration von „queryCoord“, die zur Verwaltung der Topologie und des Lastausgleichs für die Abfrageknoten sowie zur Übergabe von wachsenden Segmenten an versiegelte Segmente dient.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den „queryCoord-bezogenen Konfigurationen “.

queryNode

Zugehörige Konfiguration von „queryNode“, die zur Durchführung einer hybriden Suche zwischen Vektor- und Skalardaten dient.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den „queryNode“-bezogenen Konfigurationen.

indexCoord

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den Konfigurationen zu „indexCoord “.

indexNode

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den Konfigurationen zu „indexNode “.

dataCoord

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den Konfigurationen zu „dataCoord “.

dataNode

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „Konfigurationen im Zusammenhang mit dataNode “.

msgChannel

In diesem Abschnitt werden die Konfigurationen im Zusammenhang mit dem Nachrichtenkanal von Milvus vorgestellt.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „Konfigurationen im Zusammenhang mit msgChannel “.

log

Konfiguriert die Ausgabe des Systemprotokolls.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den Konfigurationen zu „log “.

grpc

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „Konfigurationen im Zusammenhang mit grpc “.

tls

Konfigurieren Sie externes TLS.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den TLS-bezogenen Konfigurationen.

internaltls

Konfigurieren Sie internes TLS.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den „internaltls“-bezogenen Konfigurationen.

common

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „Allgemeine Konfigurationen “.

quotaAndLimits

QuotaConfig, Konfigurationen der Milvus-Quoten und -Grenzwerte.

Standardmäßig aktivieren wir:

1. TT-Schutz;

2. Speicherschutz;

3. Festplattenkontingent-Schutz.

Sie können Folgendes aktivieren:

1. DML-Durchsatzbegrenzung;

2. DDL-, DQL-QPS/RPS-Begrenzung;

3. Schutz der DQL-Warteschlangenlänge und -Latenz;

4. Schutz der DQL-Ergebnisrate;

Bei Bedarf können Sie RW-Anfragen auch manuell ablehnen.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den Konfigurationen zu „quotaAndLimits “.

trace

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter den Konfigurationen zum Thema „Trace “.

gpu

#Bei Verwendung der GPU-Indizierung nutzt Milvus einen Speicherpool, um häufige Speicherzuweisungen und -freigaben zu vermeiden.

#Hier können Sie die Größe des vom Speicherpool belegten Speichers festlegen, wobei die Einheit MB ist.

#Beachten Sie, dass Milvus möglicherweise abstürzt, wenn der tatsächliche Speicherbedarf den durch „maxMemSize“ festgelegten Wert überschreitet.

#Wenn sowohl „initMemSize“ als auch „MaxMemSize“ auf Null gesetzt sind,

#initialisiert Milvus automatisch die Hälfte des verfügbaren GPU-Speichers,

#während „maxMemSize“ den gesamten verfügbaren GPU-Speicher belegt.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „GPU-bezogene Konfigurationen “.

streamingNode

Alle Konfigurationen, die sich auf den Streaming-Node-Server beziehen.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „Konfigurationen für den Streaming-Node “.

streaming

Alle Konfigurationen, die sich auf den Streaming-Dienst beziehen.

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „Streaming-bezogene Konfigurationen “.

knowhere

Alle Konfigurationen im Zusammenhang mit der Knowhere-Vektor-Suchmaschine

Eine detaillierte Beschreibung der einzelnen Parameter in diesem Abschnitt finden Sie unter „Konfigurationen im Zusammenhang mit knowhere “.