Milvus в лучшем виде: исследование от v2.2 до v2.2.6

Milvus в лучшем виде

С возвращением, поклонники Milvus! Мы знаем, что прошло немало времени с тех пор, как мы в последний раз делились нашими новостями об этой передовой векторной базе данных с открытым исходным кодом. Но не бойтесь, ведь мы здесь, чтобы рассказать вам обо всех интересных событиях, произошедших с августа прошлого года.

В этой статье мы расскажем вам о последних релизах Milvus, начиная с версии 2.2 и заканчивая версией 2.2.6. Нам есть о чем рассказать, включая новые функции, улучшения, исправления ошибок и оптимизацию. Итак, пристегните ремни и давайте погрузимся в работу!

Milvus v2.2: крупный релиз с улучшенной стабильностью, более высокой скоростью поиска и гибкой масштабируемостью

Milvus v2.2 - это значительный релиз, в котором появилось семь совершенно новых функций и множество принципиально новых улучшений по сравнению с предыдущими версиями. Давайте рассмотрим некоторые из них подробнее:

• Массовая вставка сущностей из файлов: С помощью этой функции вы можете загрузить партию сущностей в одном или нескольких файлах непосредственно в Milvus с помощью всего нескольких строк кода, что сэкономит ваше время и усилия.
• Пагинация результатов запросов: Чтобы избежать массивных результатов поиска и запросов, возвращаемых в одном удаленном вызове процедуры (RPC), Milvus v2.2 позволяет настраивать смещение и фильтрацию результатов по ключевым словам в поиске и запросах.
• Контроль доступа на основе ролей (RBAC): Milvus v2.2 теперь поддерживает RBAC, позволяя вам контролировать доступ к вашему экземпляру Milvus путем управления пользователями, ролями и разрешениями.
• Квоты и лимиты: Квоты и лимиты - это новый механизм в Milvus v2.2, который защищает систему баз данных от ошибок, связанных с нехваткой памяти (OOM), и сбоев во время резких скачков трафика. С помощью этой функции вы можете контролировать поступление, поиск и использование памяти.
• Время жизни (TTL) на уровне коллекции: В предыдущих выпусках Milvus позволял настраивать TTL только для кластеров. Однако Milvus v2.2 теперь поддерживает настройку TTL на уровне коллекции. Если настроить TTL для определенной коллекции, то сущности в этой коллекции будут автоматически истекать после окончания TTL. Такая конфигурация обеспечивает более тонкий контроль над хранением данных.
• Индексы на основе диска с приблизительным поиском ближайших соседей (ANNS) (бета-версия): В Milvus v2.2 появилась поддержка DiskANN, алгоритма ANNS на основе графов Vamana, работающего на SSD. Эта поддержка позволяет осуществлять прямой поиск в больших наборах данных, что может значительно сократить потребление памяти - до 10 раз.
• Резервное копирование данных (бета-версия): Milvus v2.2 предоставляет совершенно новый инструмент для резервного копирования и восстановления данных Milvus, как через командную строку, так и через API-сервер.

Помимо вышеупомянутых новых функций, Milvus v2.2 содержит исправления пяти ошибок и множество улучшений, повышающих стабильность, наблюдаемость и производительность Milvus. Более подробную информацию можно найти в информации о выпуске Milvus v2.2.

Milvus v2.2.1 и v2.2.2: минорные релизы с исправленными проблемами

Milvus v2.2.1 и v2.2.2 - это минорные релизы, в которых исправлены критические проблемы старых версий и добавлены новые функции. Вот некоторые основные моменты:

Milvus v2.2.1

• Поддержка Pulsa-арендатора и аутентификации
• Поддержка безопасности транспортного уровня (TLS) в источнике конфигурации etcd
• Повышена производительность поиска более чем на 30 %
• Оптимизирует планировщик и повышает вероятность слияния задач
• Исправляет множество ошибок, включая сбои в фильтрации терминов по индексированным скалярным полям и панику IndexNode при сбоях в создании индекса

Milvus v2.2.2

• Устранена проблема, из-за которой прокси не обновлял кэш лидеров шардов
• Исправлена проблема, из-за которой загруженная информация не очищалась для освобожденных коллекций/разделов
• Исправлена проблема, из-за которой счетчик загрузок не очищался вовремя

Для получения более подробной информации смотрите Milvus v2.2.1 Release Notes и Milvus v2.2.2 Release Notes.

Milvus v2.2.3: более безопасный, стабильный и доступный

Milvus v2.2.3 - это релиз, в котором основное внимание уделяется повышению безопасности, стабильности и доступности системы. Кроме того, в нем представлены две важные функции:

• Скользящее обновление: эта функция позволяет Milvus отвечать на входящие запросы во время процесса обновления, что было невозможно в предыдущих выпусках. Благодаря скользящему обновлению система остается доступной и отвечает на запросы пользователей даже во время обновления.

• Высокая доступность координаторов (HA): Эта функция позволяет координаторам Milvus работать в режиме активного резерва, снижая риск одномоментных сбоев. Даже в случае непредвиденных катастроф время восстановления сокращается максимум до 30 секунд.

Помимо этих новых функций, Milvus v2.2.3 содержит множество улучшений и исправлений ошибок, включая повышение производительности массовой вставки, снижение потребления памяти, оптимизацию показателей мониторинга и повышение производительности мета-хранилища. Более подробную информацию можно найти в информации о выпуске Milvus v2.2.3.

Milvus v2.2.4: быстрее, надежнее и экономия ресурсов

Milvus v2.2.4 - это небольшое обновление Milvus v2.2. В нем появилось четыре новых функции и несколько улучшений, что привело к повышению производительности, надежности и снижению потребления ресурсов. Основные моменты этого выпуска включают:

• Группировка ресурсов: Milvus теперь поддерживает группировку QueryNodes в другие группы ресурсов, что позволяет полностью изолировать доступ к физическим ресурсам в разных группах.
• Переименование коллекций: API переименования коллекций позволяет пользователям изменять название коллекции, обеспечивая большую гибкость в управлении коллекциями и повышая удобство использования.
• Поддержка облачного хранилища Google
• Новая опция в API поиска и запросов: Эта новая функция позволяет пользователям пропускать поиск по всем растущим сегментам, обеспечивая более высокую производительность поиска в сценариях, где поиск выполняется одновременно со вставкой данных.

Для получения дополнительной информации см. информацию о выпуске Milvus v2.2.4.

Milvus v2.2.5: НЕ РЕКОМЕНДУЕТСЯ

В Milvus v2.2.5 есть несколько критических проблем, поэтому мы не рекомендуем использовать этот выпуск. Мы приносим искренние извинения за любые неудобства, вызванные этими проблемами. Однако эти проблемы были устранены в Milvus v2.2.6.

Milvus v2.2.6: решает критические проблемы, возникшие в версии 2.2.5

В Milvus v2.2.6 успешно решены критические проблемы, обнаруженные в v2.2.5, включая проблемы с переработкой грязных данных бинлога и сбой DataCoord GC. Если вы используете v2.2.5, пожалуйста, обновите ее, чтобы обеспечить оптимальную производительность и стабильность.

Исправлены следующие критические проблемы:

• сбой DataCoord GC
• Переопределение переданных параметров индекса
• Системная задержка, вызванная отставанием сообщений RootCoord
• Неточность метрики RootCoordInsertChannelTimeTick
• Возможная остановка временной метки
• Случайное самоуничтожение роли координатора в процессе перезапуска
• Отставание контрольных точек из-за аномального завершения сборки мусора

Более подробную информацию можно найти в информации о выпуске Milvus v2.2.6.

Резюме

В заключение следует отметить, что в последних выпусках Milvus от v2.2 до v2.2.6 было представлено множество интересных обновлений и улучшений. От новых функций до исправления ошибок и оптимизации, Milvus продолжает выполнять свои обязательства по предоставлению передовых решений и расширению возможностей приложений в различных областях. Оставайтесь с нами и следите за новыми обновлениями и инновациями от сообщества Milvus.