Cncharonly

Il filtro cncharonly rimuove i token che contengono caratteri non cinesi. Questo filtro è utile quando ci si vuole concentrare solo sul testo cinese, filtrando tutti i token che contengono altri caratteri, numeri o simboli.

Configurazione

Il filtro cncharonly è integrato in Milvus. Per utilizzarlo, è sufficiente specificarne il nome nella sezione filter all'interno di analyzer_params.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["cncharonly"],
}

Il filtro cncharonly opera sui termini generati dal tokenizer, quindi deve essere usato in combinazione con un tokenizer.

Dopo aver definito analyzer_params, è possibile applicarli a un campo VARCHAR quando si definisce uno schema di raccolta. Ciò consente a Milvus di elaborare il testo in quel campo utilizzando l'analizzatore specificato per una tokenizzazione e un filtraggio efficienti. Per i dettagli, vedere Esempio di utilizzo.

Esempio di output

Ecco un esempio di come il filtro cncharonly elabora il testo.

Testo originale.

"Milvus 是 LF AI & Data Foundation 下的一个开源项目，以 Apache 2.0 许可发布。"

Risultato atteso.

["是", "下", "的", "一个", "开源", "项目", "以", "许可", "发布"]