Cnalphanumonly

El filtro cnalphanumonly elimina los tokens que contengan caracteres que no sean chinos, letras inglesas o dígitos.

Configuración

El filtro cnalphanumonly está integrado en Milvus. Para utilizarlo, basta con especificar su nombre en la sección filter dentro de analyzer_params.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cnalphanumonly"],
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("cnalphanumonly"));

const analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cnalphanumonly"],
};

analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"cnalphanumonly"}}

# restful
analyzerParams='{
  "tokenizer": "standard",
  "filter": [
    "cnalphanumonly"
  ]
}'

El filtro cnalphanumonly funciona con los términos generados por el tokenizador, por lo que debe utilizarse en combinación con un tokenizador. Para obtener una lista de los tokenizadores disponibles en Milvus, consulte Standard Tokenizer y sus páginas hermanas.

Después de definir analyzer_params, puede aplicarlos a un campo VARCHAR al definir un esquema de colección. Esto permite a Milvus procesar el texto de ese campo utilizando el analizador especificado para una tokenización y filtrado eficientes. Para más detalles, consulte Ejemplo de uso.

Ejemplos

Antes de aplicar la configuración del analizador a su esquema de recopilación, verifique su comportamiento utilizando el método run_analyzer.

Configuración del analizador

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cnalphanumonly"],
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("cnalphanumonly"));

// javascript

analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"cnalphanumonly"}}

# restful

Verificación mediante run_analyzerCompatible with Milvus 2.5.11+

# Sample text to analyze
sample_text = "Milvus 是 LF AI & Data Foundation 下的一个开源项目，以 Apache 2.0 许可发布。"

# Run the standard analyzer with the defined configuration
result = MilvusClient.run_analyzer(sample_text, analyzer_params)
print(result)

// java

// javascript

// go

# restful

Salida esperada

['Milvus', '是', 'LF', 'AI', 'Data', 'Foundation', '下的一个开源项目', '以', 'Apache', '2', '0', '许可发布']