Cncharonly

El filtro cncharonly elimina los tokens que contienen caracteres no chinos. Este filtro es útil cuando desea centrarse únicamente en texto chino, filtrando cualquier token que contenga otros alfabetos, números o símbolos.

Configuración

El filtro cncharonly está integrado en Milvus. Para utilizarlo, basta con especificar su nombre en la sección filter dentro de analyzer_params.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cncharonly"],
}

El filtro cncharonly funciona con los términos generados por el tokenizador, por lo que debe utilizarse en combinación con un tokenizador.

Después de definir analyzer_params, puede aplicarlos a un campo VARCHAR al definir un esquema de colección. Esto permite a Milvus procesar el texto de ese campo utilizando el analizador especificado para una tokenización y filtrado eficientes. Para más detalles, consulte Ejemplo de uso.

Ejemplo de salida

A continuación se muestra un ejemplo de cómo procesa el texto el filtro cncharonly.

Texto original.

"Milvus 是 LF AI & Data Foundation 下的一个开源项目，以 Apache 2.0 许可发布。"

Salida esperada.

["是", "下", "的", "一个", "开源", "项目", "以", "许可", "发布"]