Cncharonly

El filtro cncharonly elimina los tokens que contienen caracteres no chinos. Este filtro es útil cuando desea centrarse únicamente en texto chino, filtrando cualquier token que contenga otros alfabetos, números o símbolos.

Configuración

El filtro cncharonly está integrado en Milvus. Para utilizarlo, simplemente especifique su nombre en la sección filter dentro de analyzer_params.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cncharonly"],
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("cncharonly"));

const analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cncharonly"],
};

analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"cncharonly"}}

# restful
analyzerParams='{
  "tokenizer": "standard",
  "filter": [
    "cncharonly"
  ]
}'

El filtro cncharonly funciona con los términos generados por el tokenizador, por lo que debe utilizarse en combinación con un tokenizador. Para obtener una lista de los tokenizadores disponibles en Milvus, consulte Standard Tokenizer y sus páginas hermanas.

Después de definir analyzer_params, puede aplicarlos a un campo VARCHAR al definir un esquema de colección. Esto permite a Milvus procesar el texto de ese campo utilizando el analizador especificado para una tokenización y filtrado eficientes. Para más detalles, consulte Ejemplo de uso.

Ejemplos

Antes de aplicar la configuración del analizador a su esquema de recopilación, verifique su comportamiento utilizando el método run_analyzer.

Configuración del analizador

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cncharonly"],
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("cncharonly"));

// javascript

analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"cncharonly"}}

# restful

Verificación mediante run_analyzerCompatible with Milvus 2.5.11+

# Sample text to analyze
sample_text = "Milvus 是 LF AI & Data Foundation 下的一个开源项目，以 Apache 2.0 许可发布。"

# Run the standard analyzer with the defined configuration
result = MilvusClient.run_analyzer(sample_text, analyzer_params)
print(result)

// java

// javascript

// go

# restful

Salida esperada

['是', '下的一个开源项目', '以', '许可发布']