Настройка кэш-памяти

Механизм chunk cache позволяет Milvus предварительно загружать данные в кэш на локальном жестком диске узлов запроса до того, как они понадобятся. Этот механизм значительно повышает производительность поиска векторов за счет сокращения времени, необходимого для загрузки данных с диска в память.

Справочная информация

Перед выполнением запросов для получения векторов Milvus необходимо загрузить данные из объектного хранилища в кэш-память на локальном жестком диске узлов запроса. Этот процесс занимает много времени. Пока все данные не загружены, Milvus может отвечать на некоторые запросы на получение векторов с задержкой.

Чтобы повысить производительность запросов, Milvus предоставляет механизм кэширования чанков для предварительной загрузки данных из объектного хранилища в кэш на локальном жестком диске до того, как они понадобятся. Когда поступает запрос, Segcore сначала проверяет, находятся ли данные в кэше, а не в объектном хранилище. Если данные находятся в кэше, Segcore может быстро извлечь их из кэша и вернуть результат клиенту.

Настройка кэша чанков

В этом руководстве приведены инструкции по настройке механизма кэширования чанков для экземпляра Milvus. Конфигурация зависит от способа установки экземпляра Milvus.

• Для экземпляров Milvus, установленных с помощью Helm Charts

  Добавьте конфигурацию в файл values.yaml в разделе config. Подробнее см. в разделе Настройка Milvus с помощью Helm Charts.

• Для экземпляров Milvus, установленных с помощью Docker Compose

  Добавьте конфигурацию в файл milvus.yaml, который вы использовали для запуска экземпляра Milvus. Подробнее см. в разделе Настройка Milvus с помощью Docker Compose.

• Для экземпляров Milvus, установленных с помощью Operator

  Добавьте конфигурацию в раздел spec.components пользовательского ресурса Milvus. Подробнее см. в разделе Настройка Milvus с помощью Operator.

Параметры конфигурации

queryNode:
    cache:
        warmup: async

Параметр warmup определяет, будет ли Milvus предварительно загружать данные из хранилища объектов в кэш на локальном жестком диске узлов запросов до того, как они понадобятся. По умолчанию этот параметр принимает значение disable. Возможные варианты следующие:

• async: Milvus предварительно загружает данные асинхронно в фоновом режиме, что не влияет на время, необходимое для загрузки коллекции. Тем не менее, пользователи могут испытывать задержку при получении векторов в течение короткого периода времени после завершения процесса загрузки. Эта опция используется по умолчанию.
• sync: Milvus предварительно загружает данные синхронно, что может повлиять на время загрузки коллекции. Однако пользователи могут выполнять запросы сразу после завершения процесса загрузки без какой-либо задержки.
• disable: Milvus не выполняет предварительную загрузку данных в кэш памяти.

Обратите внимание, что настройки кэша чанков также применяются при вставке новых данных в коллекции или перестройке индексов коллекций.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

• Как я могу определить, правильно ли работает механизм кэширования чанков?

  Рекомендуется проверить задержку запроса на поиск или запрос после загрузки коллекции. Если задержка значительно выше ожидаемой (например, несколько секунд), это может указывать на то, что механизм кэширования чанков все еще работает.

  Если задержка запроса остается высокой в течение длительного времени. Вы можете проверить пропускную способность хранилища объектов, чтобы убедиться, что кэш чанков все еще работает. В нормальных случаях работающий кэш будет генерировать высокую пропускную способность объектного хранилища. В качестве альтернативы можно просто попробовать кэш чанков в режиме sync.