Solo alfanumerico

Il filtro alphanumonly rimuove i token che contengono caratteri non ASCII, mantenendo solo i termini alfanumerici. Questo filtro è utile per l'elaborazione di testi in cui sono rilevanti solo lettere e numeri di base, escludendo caratteri speciali o simboli.

Configurazione

Il filtro alphanumonly è integrato in Milvus. Per utilizzarlo, è sufficiente specificarne il nome nella sezione filter all'interno di analyzer_params.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["alphanumonly"],
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("alphanumonly"));

const analyzer_params = {
    "tokenizer": "standard",
    "filter": ["alphanumonly"],
};

analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"alphanumonly"}}

# restful
analyzerParams='{
  "tokenizer": "standard",
  "filter": [
    "alphanumonly"
  ]
}'

Il filtro alphanumonly opera sui termini generati dal tokenizer, quindi deve essere usato in combinazione con un tokenizer. Per un elenco dei tokenizer disponibili in Milvus, consultare Standard Tokenizer e le sue pagine collaterali.

Dopo aver definito analyzer_params, è possibile applicarlo a un campo VARCHAR quando si definisce uno schema di raccolta. Ciò consente a Milvus di elaborare il testo in quel campo usando l'analizzatore specificato per una tokenizzazione e un filtraggio efficienti. Per i dettagli, si veda l'esempio di utilizzo.

Esempi

Prima di applicare la configurazione dell'analizzatore allo schema di raccolta, verificarne il comportamento con il metodo run_analyzer.

Configurazione dell'analizzatore

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["alphanumonly"],
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("alphanumonly"));

// javascript

analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"alphanumonly"}}

# restful

Verifica con run_analyzerCompatible with Milvus 2.5.11+

# Sample text to analyze
sample_text = "Milvus 2.0 @ Scale! #AI #Vector_Databasé"

# Run the standard analyzer with the defined configuration
result = MilvusClient.run_analyzer(sample_text, analyzer_params)
print(result)

// java

// javascript

// go

# restful

Risultato atteso

['Milvus', '2', '0', 'Scale', 'AI', 'Vector']