Cnalphanumonly
El filtro cnalphanumonly
elimina los tokens que contengan caracteres que no sean chinos, letras inglesas o dígitos.
Configuración
El filtro cnalphanumonly
está integrado en Milvus. Para utilizarlo, basta con especificar su nombre en la sección filter
dentro de analyzer_params
.
analyzer_params = {
"tokenizer": "standard",
"filter": ["cnalphanumonly"],
}
El filtro cnalphanumonly
funciona con los términos generados por el tokenizador, por lo que debe utilizarse en combinación con un tokenizador.
Después de definir analyzer_params
, puede aplicarlos a un campo VARCHAR
al definir un esquema de colección. Esto permite a Milvus procesar el texto de ese campo utilizando el analizador especificado para una tokenización y filtrado eficientes. Para más detalles, consulte Ejemplo de uso.
Ejemplo de salida
A continuación se muestra un ejemplo de cómo procesa el texto el filtro cnalphanumonly
.
Texto original.
"Milvus 是 LF AI & Data Foundation 下的一个开源项目,以 Apache 2.0 许可发布。"
Salida esperada.
["Milvus", "是", "LF", "AI", "Data", "Foundation", "下", "的", "一个", "开源", "项目", "以", "Apache", "2.0", "许可", "发布"]