Cnalphanumonly

Der Filter cnalphanumonly entfernt Token, die andere Zeichen als chinesische Zeichen, englische Buchstaben oder Ziffern enthalten.

Konfiguration

Der cnalphanumonly Filter ist in Milvus eingebaut. Um ihn zu verwenden, geben Sie einfach seinen Namen im Abschnitt filter unter analyzer_params an.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cnalphanumonly"],
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("cnalphanumonly"));

const analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cnalphanumonly"],
};

analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"cnalphanumonly"}}

# restful
analyzerParams='{
  "tokenizer": "standard",
  "filter": [
    "cnalphanumonly"
  ]
}'

Der Filter cnalphanumonly arbeitet mit den vom Tokenizer generierten Begriffen, muss also in Kombination mit einem Tokenizer verwendet werden. Eine Liste der in Milvus verfügbaren Tokenizer finden Sie unter Standard Tokenizer und den zugehörigen Seiten.

Nachdem Sie analyzer_params definiert haben, können Sie sie auf ein VARCHAR Feld anwenden, wenn Sie ein Sammelschema definieren. Dies ermöglicht es Milvus, den Text in diesem Feld mit dem angegebenen Analysator für eine effiziente Tokenisierung und Filterung zu verarbeiten. Einzelheiten finden Sie unter Beispielanwendung.

Beispiele

Bevor Sie die Analyzer-Konfiguration auf Ihr Sammelschema anwenden, überprüfen Sie das Verhalten mit der Methode run_analyzer.

Analyzer-Konfiguration

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cnalphanumonly"],
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("cnalphanumonly"));

// javascript

analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"cnalphanumonly"}}

# restful

Überprüfung mit run_analyzerCompatible with Milvus 2.5.11+

# Sample text to analyze
sample_text = "Milvus 是 LF AI & Data Foundation 下的一个开源项目，以 Apache 2.0 许可发布。"

# Run the standard analyzer with the defined configuration
result = MilvusClient.run_analyzer(sample_text, analyzer_params)
print(result)

// java

// javascript

// go

# restful

Erwartete Ausgabe

['Milvus', '是', 'LF', 'AI', 'Data', 'Foundation', '下的一个开源项目', '以', 'Apache', '2', '0', '许可发布']