Milvus - это масштабируемая база данных векторов с открытым исходным кодом

Поиск данных по легко определяемым критериям, например, запрос базы данных фильмов по актеру, режиссеру, жанру или дате выхода, очень прост. Реляционная база данных хорошо подходит для таких типов базового поиска с помощью языка запросов, такого как SQL. Но когда поиск включает сложные объекты и более абстрактные запросы, например, поиск в библиотеке потокового видео с использованием естественного языка или видеоклипа, простых показателей сходства, таких как совпадение слов в названии или описании, уже недостаточно.

Благодаряискусственному интеллекту (ИИ) компьютеры стали значительно лучше понимать семантику языка, а также помогать людям разобраться в огромных, трудно поддающихся анализу неструктурированных массивах данных (например, аудио, видео, документы и данные социальных сетей). ИИ позволяет Netflix создавать сложные системы рекомендаций контента, пользователям Google - искать в Интернете по картинкам, а фармацевтическим компаниям - открывать новые лекарства.

Проблема поиска в больших неструктурированных массивах данных

Эти технологические достижения достигаются благодаря использованию алгоритмов ИИ для преобразования плотных неструктурированных данных в векторы - числовой формат данных, который легко читается машинами. Затем используются дополнительные алгоритмы для расчета сходства между векторами для заданного поиска. Большой размер неструктурированных наборов данных делает их поиск в полном объеме слишком трудоемким для большинства приложений машинного обучения. Для решения этой проблемы используются алгоритмы приближенных ближайших соседей (ANN), которые объединяют похожие векторы в кластеры, а затем проводят поиск только в той части набора данных, которая с наибольшей вероятностью содержит векторы, похожие на целевой вектор поиска.

Это позволяет значительно ускорить (хотя и несколько снизить точность) поиск сходства и является ключом к созданию полезных инструментов ИИ. Благодаря огромным общественным ресурсам создавать приложения для машинного обучения стало как никогда просто и дешево. Однако поиск векторного сходства на основе ИИ часто требует сопряжения различных инструментов, количество и сложность которых зависят от конкретных требований проекта. Milvus - это поисковая система ИИ с открытым исходным кодом, которая призвана упростить процесс создания приложений машинного обучения, предоставляя надежную функциональность на единой платформе.

Что такое Milvus?

Milvus - это платформа управления данными с открытым исходным кодом, созданная специально для работы с массивными векторными данными и оптимизации операций машинного обучения (MLOps). Работает на базе Facebook AI Similarity Search (Faiss), Non-Metric Space Library (NMSLIB) и Annoy. Milvus объединяет множество мощных инструментов в одном месте, расширяя при этом их отдельные функции. Система была специально создана для хранения, обработки и анализа больших векторных наборов данных и может быть использована для создания приложений искусственного интеллекта, охватывающих компьютерное зрение, рекомендательные движки и многое другое.

Blog_Milvus Is an Open-Source Scalable AI Search Engine_1.jpg

Milvus был создан для векторного поиска по сходству

Milvus был создан для гибкости, позволяющей разработчикам оптимизировать платформу для конкретного случая использования. Поддержка только CPU/GPU и гетерогенных вычислений позволяет ускорить обработку данных и оптимизировать требования к ресурсам для любого сценария. Данные хранятся в Milvus на распределенной архитектуре, что позволяет легко масштабировать объемы данных. Благодаря поддержке различных моделей ИИ, языков программирования (например, C++, Java и Python) и типов процессоров (например, x86, ARM, GPU, TPU и FPGA), Milvus обеспечивает высокую совместимость с широким спектром аппаратного и программного обеспечения.

Для получения дополнительной информации о Milvus ознакомьтесь со следующими ресурсами:

• Изучите техническую документацию Milvus и узнайте больше о внутреннем устройстве платформы.
• Узнайте, как запускать Milvus, создавать приложения и многое другое, используя учебники по Milvus.
• Вносите свой вклад в проект и взаимодействуйте с сообществом разработчиков Milvus на GitHub.