milvus-logo
LFAI
Casa
  • Guida per l'utente

Lunghezza

Il filtro length rimuove i token che non soddisfano i requisiti di lunghezza specificati, consentendo di controllare la lunghezza dei token conservati durante l'elaborazione del testo.

Configurazione

Il filtro length è un filtro personalizzato in Milvus, specificato dall'impostazione "type": "length" nella configurazione del filtro. Si può configurare come un dizionario all'interno di analyzer_params per definire i limiti di lunghezza.

analyzer_params = {
    "tokenizer": "standard",
    "filter":[{
        "type": "length", # Specifies the filter type as length
        "max": 10, # Sets the maximum token length to 10 characters
    }],
}

Il filtro length accetta i seguenti parametri configurabili.

Parametro

Descrizione

max

Imposta la lunghezza massima dei token. I token più lunghi di questa lunghezza vengono rimossi.

Il filtro length opera sui termini generati dal tokenizer, quindi deve essere usato in combinazione con un tokenizer.

Dopo aver definito analyzer_params, è possibile applicarlo a un campo VARCHAR quando si definisce uno schema di raccolta. Ciò consente a Milvus di elaborare il testo in quel campo utilizzando l'analizzatore specificato per una tokenizzazione e un filtraggio efficienti. Per i dettagli, vedere Esempio di utilizzo.

Esempio di output

Ecco un esempio di come il filtro length elabora il testo.

Testo di esempio.

"The length filter allows control over token length requirements for text processing."

Risultato atteso (con max: 10).

["length", "filter", "allows", "control", "over", "token", "length", "for", "text"]

Tradotto daDeepLogo

Try Managed Milvus for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
Feedback

Questa pagina è stata utile?