Collegare Kafka con Milvus

In questa guida rapida mostriamo come configurare kafka open source e Zilliz Cloud per ingerire dati vettoriali.

Passo 1: Scaricare il plugin kafka-connect-milvus

Completare i seguenti passaggi per scaricare il plugin kafka-connect-milvus.

1. scaricare l'ultimo file zip del plugin zilliz-kafka-connect-milvus-xxx.zip da qui.

Passo 2: Scaricare Kafka

1. Scaricare l'ultima versione di kafka da qui.
2. Decomprimere il file scaricato e accedere alla directory kafka.

$ tar -xzf kafka_2.13-3.6.1.tgz
$ cd kafka_2.13-3.6.1

FASE 3: Avviare l'ambiente Kafka

Eseguire i seguenti comandi per avviare tutti i servizi nell'ordine corretto:

1. Avviare il servizio ZooKeeper

   $ bin/zookeeper-server-start.sh config/zookeeper.properties
   

2. Avviare il servizio broker Kafka

   Aprire un'altra sessione di terminale ed eseguire:

   $ bin/kafka-server-start.sh config/server.properties
   

Una volta che tutti i servizi sono stati avviati con successo, si avrà un ambiente Kafka di base funzionante e pronto all'uso.

• Per maggiori dettagli, consultare la guida rapida ufficiale di kafka: https://kafka.apache.org/quickstart.

Passo 4: Configurare Kafka e Zilliz Cloud

Assicurarsi di aver impostato e configurato correttamente Kafka e Zilliz Cloud.

1. Se non si dispone già di un argomento in Kafka, creare un argomento (ad esempio topic_0) in Kafka.

   $ bin/kafka-topics.sh --create --topic topic_0 --bootstrap-server localhost:9092
   

2. Se non si dispone già di una raccolta in Zilliz Cloud, creare una raccolta con un campo vettoriale (in questo esempio il vettore è dimension=8). È possibile utilizzare il seguente schema di esempio su Zilliz Cloud:

   

   Nota: assicurarsi che gli schemi di entrambe le parti corrispondano. Nello schema c'è esattamente un campo vettoriale. I nomi di ciascun campo su entrambi i lati sono esattamente gli stessi.

Passo 5: caricare il plugin kafka-connect-milvus sull'istanza Kafka

1. decomprimere il file zilliz-kafka-connect-milvus-xxx.zip scaricato al passo 1.

2. copiare le directory zilliz-kafka-connect-milvus nella directory libs della propria installazione di Kafka.

3. modificare il file connect-standalone.properties nella directory config dell'installazione di Kafka.

   key.converter.schemas.enable=false
   value.converter.schemas.enable=false
   plugin.path=libs/zilliz-kafka-connect-milvus-xxx
   

4. creare e configurare un file milvus-sink-connector.properties nella directory config dell'installazione di Kafka.

   name=zilliz-kafka-connect-milvus
   connector.class=com.milvus.io.kafka.MilvusSinkConnector
   public.endpoint=https://<public.endpoint>:port
   token=*****************************************
   collection.name=topic_0
   topics=topic_0
   

Passo 6: Avviare il connettore

1. Avviare il connettore con il file di configurazione precedente

   $ bin/connect-standalone.sh config/connect-standalone.properties config/milvus-sink-connector.properties
   

2. Provare a produrre un messaggio al topic Kafka appena creato in Kafka.

   bin/kafka-console-producer.sh --topic topic_0 --bootstrap-server localhost:9092                        
   >{"id": 0, "title": "The Reported Mortality Rate of Coronavirus Is Not Important", "title_vector": [0.041732933, 0.013779674, -0.027564144, -0.013061441, 0.009748648, 0.00082446384, -0.00071647146, 0.048612226], "link": "https://medium.com/swlh/the-reported-mortality-rate-of-coronavirus-is-not-important-369989c8d912"}
   

3. Verificare se l'entità è stata inserita nella raccolta in Zilliz Cloud. Ecco come appare su Zilliz Cloud se l'inserimento è riuscito:

   

Assistenza

Se avete bisogno di assistenza o avete domande sul connettore Kafka Connect Milvus, non esitate a contattare il nostro team di supporto: Email: support@zilliz.com