Zhentu - il rilevatore di frodi fotografiche basato su Milvus
immagine di copertina
Questo articolo è stato scritto da Yan Shi e Minwei Tang, ingegneri senior degli algoritmi di BestPay, e tradotto da Rosie Zhang.
Negli ultimi anni, con il diffondersi dell'e-commerce e delle transazioni online in tutto il mondo, sono fiorite anche le frodi nell'e-commerce. Utilizzando foto generate al computer invece di quelle reali per superare la verifica dell'identità sulle piattaforme commerciali online, i truffatori creano enormi account falsi e approfittano delle offerte speciali delle aziende (ad esempio, regali di iscrizione, coupon, token), con perdite irrecuperabili sia per i consumatori che per le aziende.
I metodi tradizionali di controllo del rischio non sono più efficaci di fronte a un'ingente quantità di dati. Per risolvere il problema, BestPay ha creato un rilevatore di frodi fotografiche, Zhentu (che in cinese significa rilevamento di immagini), basato sulle tecnologie di deep learning (DL) e di elaborazione digitale delle immagini (DIP). Zhentu è applicabile a diversi scenari che prevedono il riconoscimento delle immagini, tra cui l'identificazione di licenze commerciali false. Se la foto della licenza commerciale inviata da un utente è molto simile a un'altra foto già presente nella libreria fotografica di una piattaforma, è probabile che l'utente abbia rubato la foto da qualche parte o abbia falsificato la licenza per scopi fraudolenti.
Gli algoritmi tradizionali per misurare la somiglianza delle immagini, come PSNR e ORB, sono lenti e imprecisi, applicabili solo a compiti offline. L'apprendimento profondo, invece, è in grado di elaborare dati di immagini su larga scala in tempo reale ed è il metodo definitivo per abbinare immagini simili. Grazie agli sforzi congiunti del team di ricerca e sviluppo di BestPay e della comunità Milvus, è stato sviluppato un sistema di rilevamento delle frodi fotografiche come parte di Zhentu. Il sistema funziona convertendo enormi quantità di dati di immagini in vettori di caratteristiche attraverso modelli di deep learning e inserendoli in Milvus, un motore di ricerca vettoriale. Con Milvus, il sistema di rilevamento è in grado di indicizzare trilioni di vettori e di recuperare in modo efficiente foto simili tra decine di milioni di immagini.
Vai a:
- Panoramica di Zhentu
- Struttura del sistema
- Distribuzione
- Prestazioni nel mondo reale
- Riferimento
- Informazioni su BestPay
Una panoramica di Zhentu
Zhentu è il prodotto di controllo del rischio visivo multimediale autoprogettato da BestPay e profondamente integrato con tecnologie di apprendimento automatico (ML) e di riconoscimento delle immagini su rete neurale. Il suo algoritmo integrato è in grado di identificare con precisione i truffatori durante l'autenticazione degli utenti e di rispondere a livello di millisecondi. Grazie alla sua tecnologia leader nel settore e alla sua soluzione innovativa, Zhentu ha ottenuto cinque brevetti e due copyright software. Attualmente viene utilizzato da numerose banche e istituzioni finanziarie per aiutare a identificare in anticipo i potenziali rischi.
Struttura del sistema
BestPay dispone attualmente di oltre 10 milioni di foto di licenze commerciali e il volume effettivo continua a crescere in modo esponenziale con la crescita dell'attività. Per recuperare rapidamente foto simili da un database così ampio, Zhentu ha scelto Milvus come motore di calcolo della similarità dei vettori di caratteristiche. La struttura generale del sistema di rilevamento delle frodi fotografiche è illustrata nel diagramma seguente.
img
La procedura può essere suddivisa in quattro fasi:
Pre-elaborazione dell'immagine. La pre-elaborazione, che comprende la riduzione del rumore, la rimozione del disturbo e il miglioramento del contrasto, garantisce l'integrità delle informazioni originali e la rimozione delle informazioni inutili dal segnale dell'immagine.
Estrazione del vettore di caratteristiche. Un modello di deep learning appositamente addestrato viene utilizzato per estrarre i vettori di caratteristiche dell'immagine. La conversione delle immagini in vettori per un'ulteriore ricerca di somiglianza è un'operazione di routine.
Normalizzazione. La normalizzazione dei vettori di caratteristiche estratti aiuta a migliorare l'efficienza dell'elaborazione successiva.
Ricerca vettoriale con Milvus. Inserimento dei vettori di caratteristiche normalizzati nel database Milvus per la ricerca di similarità vettoriale.
Distribuzione
Ecco una breve descrizione di come viene implementato il sistema di rilevamento delle frodi fotografiche di Zhentu.
Architettura del sistema Milvus
Abbiamo implementato il nostro cluster Milvus su Kubernetes per garantire l'alta disponibilità e la sincronizzazione in tempo reale dei servizi cloud. I passi generali sono i seguenti:
Visualizzare le risorse disponibili. Eseguire il comando
kubectl describe nodes
per vedere le risorse che il cluster Kubernetes può allocare ai casi creati.Allocare le risorse. Eseguire il comando
kubect`` -- apply xxx.yaml
per allocare le risorse di memoria e CPU per i componenti del cluster Milvus utilizzando Helm.Applicare la nuova configurazione. Eseguire il comando
helm upgrade my-release milvus/milvus --reuse-values -fresources.yaml
.Applicare la nuova configurazione al cluster Milvus. Il cluster distribuito in questo modo non solo ci permette di regolare la capacità del sistema in base alle diverse esigenze aziendali, ma soddisfa anche meglio i requisiti di alte prestazioni per il recupero massiccio di dati vettoriali.
È possibile configurare Milvus per ottimizzare le prestazioni di ricerca per diversi tipi di dati provenienti da diversi scenari aziendali, come mostrato nei due esempi seguenti.
Nella costruzione dell'indice vettoriale, si parametrizza l'indice in base allo scenario reale del sistema come segue:
index = {"index_type": "IVF_PQ", "params": {"nlist": 2048}, "metric_type": "IP"}
IVF_PQ esegue il clustering dell'indice IVF prima di quantizzare il prodotto dei vettori. È caratterizzato da un'alta velocità di interrogazione del disco e da un consumo di memoria molto basso, che soddisfa le esigenze dell'applicazione reale di Zhentu.
Inoltre, abbiamo impostato i parametri di ricerca ottimali come segue:
search_params = {"metric_type": "IP", "params": {"nprobe": 32}}
Poiché i vettori sono già normalizzati prima di essere inseriti in Milvus, si sceglie il prodotto interno (IP) per calcolare la distanza tra due vettori. Gli esperimenti hanno dimostrato che il tasso di richiamo aumenta di circa il 15% utilizzando l'IP rispetto alla distanza euclidea (L2).
Gli esempi sopra riportati dimostrano che è possibile testare e impostare i parametri di Milvus in base ai diversi scenari aziendali e ai requisiti di prestazione.
Inoltre, Milvus non solo integra diverse librerie di indici, ma supporta anche diversi tipi di indici e metodi di calcolo della similarità. Milvus fornisce anche SDK ufficiali in diverse lingue e ricche API per l'inserimento, l'interrogazione e così via, consentendo ai nostri gruppi aziendali front-end di utilizzare gli SDK per chiamare il centro di controllo dei rischi.
Prestazioni nel mondo reale
Finora il sistema di rilevamento delle frodi fotografiche ha funzionato costantemente, aiutando le aziende a identificare i potenziali truffatori. Nel 2021, ha rilevato oltre 20.000 patenti false nel corso dell'anno. In termini di velocità di interrogazione, un'interrogazione di un singolo vettore tra decine di milioni di vettori richiede meno di 1 secondo e il tempo medio di interrogazione in batch è inferiore a 0,08 secondi. La ricerca ad alte prestazioni di Milvus soddisfa le esigenze delle aziende sia in termini di accuratezza che di concomitanza.
Riferimento
Aglave P, Kolkure V S. Implementation of High Performance Feature Extraction Method Using Oriented Fast and Rotated Brief Algorithm[J]. Int. J. Res. Eng. Technol, 2015, 4: 394-397.
Informazioni su BestPay
China Telecom BestPay Co., Ltd è una società interamente controllata da China Telecom. Gestisce le attività di pagamento e finanza. BestPay si impegna a utilizzare tecnologie all'avanguardia come i big data, l'intelligenza artificiale e il cloud computing per potenziare l'innovazione aziendale, fornendo prodotti intelligenti, soluzioni di controllo del rischio e altri servizi. Fino a gennaio 2016, l'applicazione BestPay ha attirato oltre 200 milioni di utenti ed è diventata il terzo operatore di piattaforme di pagamento in Cina, dopo Alipay e WeChat Payment.
- Una panoramica di Zhentu
- Struttura del sistema
- Distribuzione
- Prestazioni nel mondo reale
- Riferimento
- Informazioni su BestPay
On This Page
Try Managed Milvus for Free
Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.
Get StartedLike the article? Spread the word