milvus-logo
LFAI
Casa
  • Integrazioni
    • Fonti dei dati

Collegare Kafka con Milvus

In questa guida rapida mostriamo come configurare kafka open source e Zilliz Cloud per ingerire dati vettoriali.

Passo 1: Scaricare il plugin kafka-connect-milvus

Completare i seguenti passaggi per scaricare il plugin kafka-connect-milvus.

  1. scaricare l'ultimo file zip del plugin zilliz-kafka-connect-milvus-xxx.zip da qui.

Passo 2: Scaricare Kafka

  1. Scaricare l'ultima versione di kafka da qui.
  2. Decomprimere il file scaricato e accedere alla directory kafka.
$ tar -xzf kafka_2.13-3.6.1.tgz
$ cd kafka_2.13-3.6.1

FASE 3: Avviare l'ambiente Kafka

NOTA: L'ambiente locale deve avere installato Java 8+.

Eseguire i seguenti comandi per avviare tutti i servizi nell'ordine corretto:

  1. Avviare il servizio ZooKeeper

    $ bin/zookeeper-server-start.sh config/zookeeper.properties
    
  2. Avviare il servizio broker Kafka

    Aprire un'altra sessione di terminale ed eseguire:

    $ bin/kafka-server-start.sh config/server.properties
    

Una volta che tutti i servizi sono stati avviati con successo, si avrà un ambiente Kafka di base funzionante e pronto all'uso.

  • Per maggiori dettagli, consultare la guida rapida ufficiale di kafka: https://kafka.apache.org/quickstart.

Passo 4: Configurare Kafka e Zilliz Cloud

Assicurarsi di aver impostato e configurato correttamente Kafka e Zilliz Cloud.

  1. Se non si dispone già di un argomento in Kafka, creare un argomento (ad esempio topic_0) in Kafka.

    $ bin/kafka-topics.sh --create --topic topic_0 --bootstrap-server localhost:9092
    
  2. Se non si dispone già di una raccolta in Zilliz Cloud, creare una raccolta con un campo vettoriale (in questo esempio il vettore è dimension=8). È possibile utilizzare il seguente schema di esempio su Zilliz Cloud:

    Nota: assicurarsi che gli schemi di entrambe le parti corrispondano. Nello schema c'è esattamente un campo vettoriale. I nomi di ciascun campo su entrambi i lati sono esattamente gli stessi.

Passo 5: caricare il plugin kafka-connect-milvus sull'istanza Kafka

  1. decomprimere il file zilliz-kafka-connect-milvus-xxx.zip scaricato al passo 1.

  2. copiare le directory zilliz-kafka-connect-milvus nella directory libs della propria installazione di Kafka.

  3. modificare il file connect-standalone.properties nella directory config dell'installazione di Kafka.

    key.converter.schemas.enable=false
    value.converter.schemas.enable=false
    plugin.path=libs/zilliz-kafka-connect-milvus-xxx
    
  4. creare e configurare un file milvus-sink-connector.properties nella directory config dell'installazione di Kafka.

    name=zilliz-kafka-connect-milvus
    connector.class=com.milvus.io.kafka.MilvusSinkConnector
    public.endpoint=https://<public.endpoint>:port
    token=*****************************************
    collection.name=topic_0
    topics=topic_0
    

Passo 6: Avviare il connettore

  1. Avviare il connettore con il file di configurazione precedente

    $ bin/connect-standalone.sh config/connect-standalone.properties config/milvus-sink-connector.properties
    
  2. Provare a produrre un messaggio al topic Kafka appena creato in Kafka.

    bin/kafka-console-producer.sh --topic topic_0 --bootstrap-server localhost:9092                        
    >{"id": 0, "title": "The Reported Mortality Rate of Coronavirus Is Not Important", "title_vector": [0.041732933, 0.013779674, -0.027564144, -0.013061441, 0.009748648, 0.00082446384, -0.00071647146, 0.048612226], "link": "https://medium.com/swlh/the-reported-mortality-rate-of-coronavirus-is-not-important-369989c8d912"}
    
  3. Verificare se l'entità è stata inserita nella raccolta in Zilliz Cloud. Ecco come appare su Zilliz Cloud se l'inserimento è riuscito:

Assistenza

Se avete bisogno di assistenza o avete domande sul connettore Kafka Connect Milvus, non esitate a contattare il nostro team di supporto: Email: support@zilliz.com