milvus-logo
LFAI
Home
  • Integraciones
    • Fuentes de datos

Conectar Kafka con Milvus

En esta guía de inicio rápido mostramos cómo configurar kafka de código abierto y Zilliz Cloud para ingerir datos vectoriales.

Paso 1: Descargar el plugin kafka-connect-milvus

Completa los siguientes pasos para descargar el plugin kafka-connect-milvus.

  1. descargue el último archivo zip del plugin zilliz-kafka-connect-milvus-xxx.zip desde aquí.

Paso 2: Descargar Kafka

  1. Descargue la última versión de kafka desde aquí.
  2. Descomprima el archivo descargado y vaya al directorio kafka.
$ tar -xzf kafka_2.13-3.6.1.tgz
$ cd kafka_2.13-3.6.1

PASO 3: Inicie el entorno Kafka

NOTA: Su entorno local debe tener Java 8+ instalado.

Ejecute los siguientes comandos para iniciar todos los servicios en el orden correcto:

  1. Inicie el servicio ZooKeeper

    $ bin/zookeeper-server-start.sh config/zookeeper.properties
    
  2. Inicie el servicio Kafka broker

    Abre otra sesión de terminal y ejecútala:

    $ bin/kafka-server-start.sh config/server.properties
    

Una vez que todos los servicios se hayan iniciado correctamente, tendrás un entorno Kafka básico funcionando y listo para usar.

  • consulte la guía oficial de inicio rápido de kafka para más detalles: https://kafka.apache.org/quickstart

Paso 4: Configurar Kafka y Zilliz Cloud

Asegúrese de tener Kafka y Zilliz Cloud instalados y configurados correctamente.

  1. Si aún no tiene un tema en Kafka, cree un tema (por ejemplo, topic_0) en Kafka.

    $ bin/kafka-topics.sh --create --topic topic_0 --bootstrap-server localhost:9092
    
  2. Si aún no tienes una colección en Zilliz Cloud, crea una colección con un campo vectorial (en este ejemplo el vector tiene dimension=8). Puedes utilizar el siguiente esquema de ejemplo en Zilliz Cloud:

    Nota: Asegúrate de que el esquema de ambas partes coincide. En el esquema, hay exactamente un campo vectorial. Los nombres de cada campo en ambos lados son exactamente los mismos.

Paso 5: Cargar el plugin kafka-connect-milvus en la Instancia Kafka

  1. descomprima el archivo zilliz-kafka-connect-milvus-xxx.zip que descargó en el Paso 1.

  2. copie los directorios zilliz-kafka-connect-milvus al directorio libs de su instalación de Kafka.

  3. modifique el archivo connect-standalone.properties en el directorio config de su instalación de Kafka.

    key.converter.schemas.enable=false
    value.converter.schemas.enable=false
    plugin.path=libs/zilliz-kafka-connect-milvus-xxx
    
  4. cree y configure un archivo milvus-sink-connector.properties en el directorio config de su instalación de Kafka.

    name=zilliz-kafka-connect-milvus
    connector.class=com.milvus.io.kafka.MilvusSinkConnector
    public.endpoint=https://<public.endpoint>:port
    token=*****************************************
    collection.name=topic_0
    topics=topic_0
    

Paso 6: Iniciar el conector

  1. Inicie el conector con el archivo de configuración anterior

    $ bin/connect-standalone.sh config/connect-standalone.properties config/milvus-sink-connector.properties
    
  2. Intenta producir un mensaje al topic de Kafka que acabas de crear en Kafka

    bin/kafka-console-producer.sh --topic topic_0 --bootstrap-server localhost:9092                        
    >{"id": 0, "title": "The Reported Mortality Rate of Coronavirus Is Not Important", "title_vector": [0.041732933, 0.013779674, -0.027564144, -0.013061441, 0.009748648, 0.00082446384, -0.00071647146, 0.048612226], "link": "https://medium.com/swlh/the-reported-mortality-rate-of-coronavirus-is-not-important-369989c8d912"}
    
  3. Comprueba si la entidad ha sido insertada en la colección en Zilliz Cloud. Este es el aspecto en Zilliz Cloud si la inserción tiene éxito:

Soporte

Si necesita ayuda o tiene preguntas sobre el conector Kafka Connect Milvus, no dude en ponerse en contacto con nuestro equipo de soporte: Correo electrónico: support@zilliz.com