Kafka mit Milvus verbinden
In dieser Kurzanleitung zeigen wir Ihnen, wie Sie Open Source Kafka und Zilliz Cloud für den Ingest von Vektordaten einrichten.
Schritt 1: Laden Sie das kafka-connect-milvus-Plugin herunter
Führen Sie die folgenden Schritte aus, um das kafka-connect-milvus-Plugin herunterzuladen.
- Laden Sie die neueste Plugin-Zip-Datei
zilliz-kafka-connect-milvus-xxx.zip
von hier herunter.
Schritt 2: Kafka herunterladen
- Laden Sie die neueste Kafka-Version von hier herunter.
- Entpacken Sie die heruntergeladene Datei und wechseln Sie in das Kafka-Verzeichnis.
$ tar -xzf kafka_2.13-3.6.1.tgz
$ cd kafka_2.13-3.6.1
SCHRITT 3: Starten Sie die Kafka-Umgebung
HINWEIS: In Ihrer lokalen Umgebung muss Java 8+ installiert sein.
Führen Sie die folgenden Befehle aus, um alle Dienste in der richtigen Reihenfolge zu starten:
Starten Sie den ZooKeeper-Dienst
$ bin/zookeeper-server-start.sh config/zookeeper.properties
Starten Sie den Kafka-Broker-Dienst
Öffnen Sie eine weitere Terminalsitzung und führen Sie den Befehl aus:
$ bin/kafka-server-start.sh config/server.properties
Sobald alle Dienste erfolgreich gestartet wurden, verfügen Sie über eine grundlegende Kafka-Umgebung, die sofort einsatzbereit ist.
- Einzelheiten finden Sie in der offiziellen Schnellstartanleitung für Kafka: https://kafka.apache.org/quickstart
Schritt 4: Konfigurieren Sie Kafka und Zilliz Cloud
Stellen Sie sicher, dass Sie Kafka und Zilliz Cloud eingerichtet und richtig konfiguriert haben.
Wenn Sie noch kein Topic in Kafka haben, erstellen Sie ein Topic (z.B.
topic_0
) in Kafka.$ bin/kafka-topics.sh --create --topic topic_0 --bootstrap-server localhost:9092
Wenn Sie noch keine Sammlung in Zilliz Cloud haben, erstellen Sie eine Sammlung mit einem Vektorfeld (in diesem Beispiel hat der Vektor
dimension=8
). Sie können das folgende Beispielschema auf Zilliz Cloud verwenden:Hinweis: Achten Sie darauf, dass die Schemata auf beiden Seiten übereinstimmen. In dem Schema gibt es genau ein Vektorfeld. Die Namen der einzelnen Felder auf beiden Seiten sind exakt gleich.
Schritt 5: Laden Sie das kafka-connect-milvus-Plugin in die Kafka-Instanz
Entpacken Sie die Datei
zilliz-kafka-connect-milvus-xxx.zip
, die Sie in Schritt 1 heruntergeladen haben.Kopieren Sie die Verzeichnisse
zilliz-kafka-connect-milvus
in das Verzeichnislibs
Ihrer Kafka-Installation.Ändern Sie die Datei
connect-standalone.properties
im Verzeichnisconfig
Ihrer Kafka-Installation.key.converter.schemas.enable=false value.converter.schemas.enable=false plugin.path=libs/zilliz-kafka-connect-milvus-xxx
Erstellen und konfigurieren Sie eine
milvus-sink-connector.properties
-Datei imconfig
-Verzeichnis Ihrer Kafka-Installation.name=zilliz-kafka-connect-milvus connector.class=com.milvus.io.kafka.MilvusSinkConnector public.endpoint=https://<public.endpoint>:port token=***************************************** collection.name=topic_0 topics=topic_0
Schritt 6: Starten Sie den Konnektor
Starten Sie den Konnektor mit der vorherigen Konfigurationsdatei
$ bin/connect-standalone.sh config/connect-standalone.properties config/milvus-sink-connector.properties
Versuchen Sie, eine Nachricht an das soeben erstellte Kafka-Topic in Kafka zu erzeugen
bin/kafka-console-producer.sh --topic topic_0 --bootstrap-server localhost:9092 >{"id": 0, "title": "The Reported Mortality Rate of Coronavirus Is Not Important", "title_vector": [0.041732933, 0.013779674, -0.027564144, -0.013061441, 0.009748648, 0.00082446384, -0.00071647146, 0.048612226], "link": "https://medium.com/swlh/the-reported-mortality-rate-of-coronavirus-is-not-important-369989c8d912"}
Prüfen Sie, ob die Entität in die Sammlung in Zilliz Cloud eingefügt wurde. So sieht es auf Zilliz Cloud aus, wenn die Einfügung erfolgreich war:
Unterstützung
Wenn Sie Unterstützung benötigen oder Fragen zum Kafka Connect Milvus Connector haben, wenden Sie sich bitte an unser Support-Team: E-Mail: support@zilliz.com