milvus-logo
LFAI
Home
  • Guía del usuario

Cnalphanumonly

El filtro cnalphanumonly elimina los tokens que contengan caracteres que no sean chinos, letras inglesas o dígitos.

Configuración

El filtro cnalphanumonly está integrado en Milvus. Para utilizarlo, basta con especificar su nombre en la sección filter dentro de analyzer_params.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cnalphanumonly"],
}

El filtro cnalphanumonly funciona con los términos generados por el tokenizador, por lo que debe utilizarse en combinación con un tokenizador.

Después de definir analyzer_params, puede aplicarlos a un campo VARCHAR al definir un esquema de colección. Esto permite a Milvus procesar el texto de ese campo utilizando el analizador especificado para una tokenización y filtrado eficientes. Para más detalles, consulte Ejemplo de uso.

Ejemplo de salida

A continuación se muestra un ejemplo de cómo procesa el texto el filtro cnalphanumonly.

Texto original.

"Milvus 是 LF AI & Data Foundation 下的一个开源项目,以 Apache 2.0 许可发布。"

Salida esperada.

["Milvus", "是", "LF", "AI", "Data", "Foundation", "下", "的", "一个", "开源", "项目", "以", "Apache", "2.0", "许可", "发布"]

Traducido porDeepLogo

Try Managed Milvus for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
Feedback

¿Fue útil esta página?