Cnalphanumonly

Il filtro cnalphanumonly rimuove i token che contengono caratteri diversi da quelli cinesi, lettere inglesi o cifre.

Configurazione

Il filtro cnalphanumonly è integrato in Milvus. Per utilizzarlo, è sufficiente specificarne il nome nella sezione filter all'interno di analyzer_params.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cnalphanumonly"],
}

Il filtro cnalphanumonly opera sui termini generati dal tokenizer, quindi deve essere usato in combinazione con un tokenizer.

Dopo aver definito analyzer_params, è possibile applicarli a un campo VARCHAR quando si definisce uno schema di raccolta. Ciò consente a Milvus di elaborare il testo in quel campo utilizzando l'analizzatore specificato per una tokenizzazione e un filtraggio efficienti. Per i dettagli, vedere Esempio di utilizzo.

Esempio di output

Ecco un esempio di come il filtro cnalphanumonly elabora il testo.

Testo originale.

"Milvus 是 LF AI & Data Foundation 下的一个开源项目，以 Apache 2.0 许可发布。"

Risultato atteso.

["Milvus", "是", "LF", "AI", "Data", "Foundation", "下", "的", "一个", "开源", "项目", "以", "Apache", "2.0", "许可", "发布"]