Conectar Kafka con Milvus

En esta guía de inicio rápido mostramos cómo configurar kafka de código abierto y Zilliz Cloud para ingerir datos vectoriales.

Paso 1: Descargar el plugin kafka-connect-milvus

Completa los siguientes pasos para descargar el plugin kafka-connect-milvus.

1. descargue el último archivo zip del plugin zilliz-kafka-connect-milvus-xxx.zip desde aquí.

Paso 2: Descargar Kafka

1. Descargue la última versión de kafka desde aquí.
2. Descomprima el archivo descargado y vaya al directorio kafka.

$ tar -xzf kafka_2.13-3.6.1.tgz
$ cd kafka_2.13-3.6.1

PASO 3: Inicie el entorno Kafka

Ejecute los siguientes comandos para iniciar todos los servicios en el orden correcto:

1. Inicie el servicio ZooKeeper

   $ bin/zookeeper-server-start.sh config/zookeeper.properties
   

2. Inicie el servicio Kafka broker

   Abre otra sesión de terminal y ejecútala:

   $ bin/kafka-server-start.sh config/server.properties
   

Una vez que todos los servicios se hayan iniciado correctamente, tendrás un entorno Kafka básico funcionando y listo para usar.

• consulte la guía oficial de inicio rápido de kafka para más detalles: https://kafka.apache.org/quickstart

Paso 4: Configurar Kafka y Zilliz Cloud

Asegúrese de tener Kafka y Zilliz Cloud instalados y configurados correctamente.

1. Si aún no tiene un tema en Kafka, cree un tema (por ejemplo, topic_0) en Kafka.

   $ bin/kafka-topics.sh --create --topic topic_0 --bootstrap-server localhost:9092
   

2. Si aún no tienes una colección en Zilliz Cloud, crea una colección con un campo vectorial (en este ejemplo el vector tiene dimension=8). Puedes utilizar el siguiente esquema de ejemplo en Zilliz Cloud:

   

   Nota: Asegúrate de que el esquema de ambas partes coincide. En el esquema, hay exactamente un campo vectorial. Los nombres de cada campo en ambos lados son exactamente los mismos.

Paso 5: Cargar el plugin kafka-connect-milvus en la Instancia Kafka

1. descomprima el archivo zilliz-kafka-connect-milvus-xxx.zip que descargó en el Paso 1.

2. copie los directorios zilliz-kafka-connect-milvus al directorio libs de su instalación de Kafka.

3. modifique el archivo connect-standalone.properties en el directorio config de su instalación de Kafka.

   key.converter.schemas.enable=false
   value.converter.schemas.enable=false
   plugin.path=libs/zilliz-kafka-connect-milvus-xxx
   

4. cree y configure un archivo milvus-sink-connector.properties en el directorio config de su instalación de Kafka.

   name=zilliz-kafka-connect-milvus
   connector.class=com.milvus.io.kafka.MilvusSinkConnector
   public.endpoint=https://<public.endpoint>:port
   token=*****************************************
   collection.name=topic_0
   topics=topic_0
   

Paso 6: Iniciar el conector

1. Inicie el conector con el archivo de configuración anterior

   $ bin/connect-standalone.sh config/connect-standalone.properties config/milvus-sink-connector.properties
   

2. Intenta producir un mensaje al topic de Kafka que acabas de crear en Kafka

   bin/kafka-console-producer.sh --topic topic_0 --bootstrap-server localhost:9092                        
   >{"id": 0, "title": "The Reported Mortality Rate of Coronavirus Is Not Important", "title_vector": [0.041732933, 0.013779674, -0.027564144, -0.013061441, 0.009748648, 0.00082446384, -0.00071647146, 0.048612226], "link": "https://medium.com/swlh/the-reported-mortality-rate-of-coronavirus-is-not-important-369989c8d912"}
   

3. Comprueba si la entidad ha sido insertada en la colección en Zilliz Cloud. Este es el aspecto en Zilliz Cloud si la inserción tiene éxito:

   

Soporte

Si necesita ayuda o tiene preguntas sobre el conector Kafka Connect Milvus, no dude en ponerse en contacto con nuestro equipo de soporte: Correo electrónico: support@zilliz.com