🚀 Попробуйте Zilliz Cloud, полностью управляемый Milvus, бесплатно — ощутите 10-кратное увеличение производительности! Попробовать сейчас>

milvus-logo
LFAI
Главная
  • Руководство пользователя
  • Home
  • Docs
  • Руководство пользователя

  • Схема и поля данных

  • Анализатор

  • Фильтры

  • Stemmer

Стеммер

Фильтр stemmer сокращает слова до их базовой или корневой формы (так называемый стемминг), облегчая поиск слов со схожими значениями в различных склонениях. Фильтр stemmer поддерживает несколько языков, обеспечивая эффективный поиск и индексирование в различных языковых контекстах.

Конфигурация

Фильтр stemmer - это пользовательский фильтр в Milvus. Чтобы использовать его, укажите "type": "stemmer" в конфигурации фильтра, а также параметр language для выбора нужного языка для стемминга.

analyzer_params = {
    "tokenizer": "standard",
    "filter":[{
        "type": "stemmer", # Specifies the filter type as stemmer
        "language": "english", # Sets the language for stemming to English
    }],
}

Фильтр stemmer принимает следующие настраиваемые параметры.

Параметр

Описание

language

Указывает язык для процесса стемминга. Поддерживаются следующие языки: "arabic", "danish", "dutch", "english", "finnish", "french", "german", "greek", "hungarian", "italian", "norwegian", "portuguese", "romanian", "russian", "spanish", "swedish", "tamil", "turkish".

Фильтр stemmer работает с терминами, сгенерированными токенизатором, поэтому он должен использоваться в сочетании с токенизатором.

Определив analyzer_params, вы можете применить их к полю VARCHAR при определении схемы коллекции. Это позволит Milvus обрабатывать текст в этом поле с помощью указанного анализатора для эффективной токенизации и фильтрации. Подробнее см. в разделе Пример использования.

Пример вывода

Вот пример того, как фильтр stemmer обрабатывает текст.

Исходный текст.

"running runs looked ran runner"

Ожидаемый результатlanguage: "english").

["run", "run", "look", "ran", "runner"]

Попробуйте Managed Milvus бесплатно

Zilliz Cloud работает без проблем, поддерживается Milvus и в 10 раз быстрее.

Начать
Обратная связь

Была ли эта страница полезной?