🚀 Попробуйте Zilliz Cloud, полностью управляемый Milvus, бесплатно — ощутите 10-кратное увеличение производительности! Попробовать сейчас>

milvus-logo
LFAI
Главная
  • Интеграции
  • Home
  • Docs
  • Интеграции

  • Источники данных

  • Кафка

Подключение Apache Kafka® к Milvus/Zilliz Cloud для сбора векторных данных в режиме реального времени

В этом кратком руководстве мы покажем, как настроить кафку с открытым исходным кодом и облако Zilliz Cloud для получения векторных данных.

В этом руководстве объясняется, как использовать Apache Kafka® для потоковой передачи и ввода векторных данных в векторную базу данных Milvus и облако Zilliz Cloud (полностью управляемое Milvus), что позволяет создавать передовые приложения реального времени, такие как семантический поиск, рекомендательные системы и аналитика на основе искусственного интеллекта.

Apache Kafka - это распределенная платформа потоковой передачи событий, предназначенная для высокопроизводительных конвейеров с низкой задержкой. Она широко используется для сбора, хранения и обработки потоков данных в реальном времени из таких источников, как базы данных, IoT-устройства, мобильные приложения и облачные сервисы. Способность Kafka обрабатывать большие объемы данных делает ее важным источником данных для векторных баз данных, таких как Milvus или Zilliz Cloud.

Например, Kafka может собирать потоки данных в реальном времени, такие как взаимодействие с пользователем, показания датчиков, а также их вложения в модели машинного обучения, и публиковать эти потоки непосредственно в Milvus или Zilliz Cloud. Попав в векторную базу данных, эти данные можно индексировать, искать и эффективно анализировать.

Интеграция Kafka с Milvus и Zilliz Cloud позволяет создавать мощные конвейеры для работы с неструктурированными данными. Коннектор работает как для развертывания Kafka с открытым исходным кодом, так и для хостинговых сервисов, таких как Confluent и StreamNative.

В этом руководстве мы используем Zilliz Cloud в качестве демонстрационного образца:

Шаг 1: Скачайте плагин kafka-connect-milvus

Выполните следующие шаги, чтобы загрузить плагин kafka-connect-milvus.

  1. Загрузите последнюю версию zip-файла плагина zilliz-kafka-connect-milvus-xxx.zip отсюда.

Шаг 2: Загрузите Kafka

  1. Загрузите последнюю версию kafka отсюда.
  2. Распакуйте скачанный файл и перейдите в каталог kafka.
$ tar -xzf kafka_2.13-3.6.1.tgz
$ cd kafka_2.13-3.6.1

ШАГ 3: Запустите среду Kafka

ПРИМЕЧАНИЕ: В вашей локальной среде должна быть установлена Java 8+.

Выполните следующие команды, чтобы запустить все службы в правильном порядке:

  1. Запустить службу ZooKeeper

    $ bin/zookeeper-server-start.sh config/zookeeper.properties
    
  2. Запустить службу брокера Kafka

    Откройте еще один сеанс терминала и выполните команду:

    $ bin/kafka-server-start.sh config/server.properties
    

После успешного запуска всех служб у вас будет запущена базовая среда Kafka, готовая к использованию.

  • Ознакомьтесь с официальным руководством по быстрому запуску Kafka для получения подробной информации: https://kafka.apache.org/quickstart.

Шаг 4: Настройте Kafka и Zilliz Cloud

Убедитесь, что Kafka и Zilliz Cloud установлены и правильно настроены.

  1. Если у вас еще нет темы в Kafka, создайте тему (например, topic_0) в Kafka.

    $ bin/kafka-topics.sh --create --topic topic_0 --bootstrap-server localhost:9092
    
  2. Если у вас еще нет коллекции в Zilliz Cloud, создайте коллекцию с векторным полем (в данном примере вектор имеет значение dimension=8). Вы можете использовать следующий пример схемы в Zilliz Cloud:

    Примечание: Убедитесь, что схемы обеих сторон соответствуют друг другу. В схеме имеется ровно одно векторное поле. Имена каждого поля на обеих сторонах абсолютно одинаковы.

Шаг 5: Загрузите плагин kafka-connect-milvus в Kafka Instance

  1. распакуйте файл zilliz-kafka-connect-milvus-xxx.zip, который вы скачали в шаге 1.

  2. скопируйте директории zilliz-kafka-connect-milvus в директорию libs вашей установки Kafka.

  3. измените файл connect-standalone.properties в каталоге config вашей установки Kafka.

    key.converter.schemas.enable=false
    value.converter.schemas.enable=false
    plugin.path=libs/zilliz-kafka-connect-milvus-xxx
    
  4. создайте и настройте файл milvus-sink-connector.properties в каталоге config вашей установки Kafka.

    name=zilliz-kafka-connect-milvus
    connector.class=com.milvus.io.kafka.MilvusSinkConnector
    public.endpoint=https://<public.endpoint>:port
    token=*****************************************
    collection.name=topic_0
    topics=topic_0
    

Шаг 6: Запуск коннектора

  1. Запустите коннектор с предыдущим файлом конфигурации.

    $ bin/connect-standalone.sh config/connect-standalone.properties config/milvus-sink-connector.properties
    
  2. Попробуйте создать сообщение в тему Kafka, которую вы только что создали в Kafka.

    bin/kafka-console-producer.sh --topic topic_0 --bootstrap-server localhost:9092                        
    >{"id": 0, "title": "The Reported Mortality Rate of Coronavirus Is Not Important", "title_vector": [0.041732933, 0.013779674, -0.027564144, -0.013061441, 0.009748648, 0.00082446384, -0.00071647146, 0.048612226], "link": "https://medium.com/swlh/the-reported-mortality-rate-of-coronavirus-is-not-important-369989c8d912"}
    
  3. Проверьте, была ли сущность вставлена в коллекцию в Zilliz Cloud. Вот как это выглядит на Zilliz Cloud, если вставка прошла успешно:

Поддержка

Если вам нужна помощь или у вас есть вопросы по коннектору Kafka Connect Milvus Connector, пожалуйста, обращайтесь к сопровождающему коннектора: Email: support@zilliz.com

Попробуйте Managed Milvus бесплатно

Zilliz Cloud работает без проблем, поддерживается Milvus и в 10 раз быстрее.

Начать
Обратная связь

Была ли эта страница полезной?