Zhentu - le détecteur de fraude photographique basé sur Milvus

Image de couverture

Cet article a été rédigé par Yan Shi et Minwei Tang, ingénieurs algorithmes seniors chez BestPay, et traduit par Rosie Zhang.

Ces dernières années, alors que le commerce électronique et les transactions en ligne sont devenus monnaie courante dans le monde entier, la fraude au commerce électronique s'est également développée. En utilisant des photos générées par ordinateur au lieu de vraies pour passer la vérification d'identité sur les plateformes commerciales en ligne, les fraudeurs créent de faux comptes en masse et profitent des offres spéciales des entreprises (par exemple, cadeaux d'adhésion, coupons, jetons), ce qui entraîne des pertes irrémédiables pour les consommateurs et les entreprises.

Les méthodes traditionnelles de contrôle des risques ne sont plus efficaces face à une quantité importante de données. Pour résoudre le problème, BestPay a créé un détecteur de fraude photographique, à savoir Zhentu (qui signifie détecter les images en chinois), basé sur les technologies d'apprentissage profond (DL) et de traitement des images numériques (DIP). Zhentu est applicable à divers scénarios impliquant la reconnaissance d'images, dont l'un des débouchés importants est l'identification de fausses licences d'exploitation. Si la photo d'un permis d'exploitation soumise par un utilisateur est très similaire à une autre photo existant déjà dans la photothèque d'une plateforme, il est probable que l'utilisateur ait volé la photo quelque part ou qu'il ait falsifié un permis à des fins frauduleuses.

Les algorithmes traditionnels de mesure de la similarité des images, tels que PSNR et ORB, sont lents et imprécis, et ne s'appliquent qu'aux tâches hors ligne. L'apprentissage profond, en revanche, est capable de traiter des données d'image à grande échelle en temps réel et constitue la méthode ultime pour faire correspondre des images similaires. Grâce aux efforts conjoints de l'équipe R&D de BestPay et de la communauté Milvus, un système de détection des fraudes photographiques est développé dans le cadre de Zhentu. Il fonctionne en convertissant des quantités massives de données d'images en vecteurs de caractéristiques grâce à des modèles d'apprentissage profond et en les insérant dans Milvus, un moteur de recherche vectoriel. Grâce à Milvus, le système de détection est capable d'indexer des trillions de vecteurs et de retrouver efficacement des photos similaires parmi des dizaines de millions d'images.

Aller à :

• Vue d'ensemble de Zhentu
• Structure du système
• Déploiement
• Performances en conditions réelles
• Référence
• A propos de BestPay

Une vue d'ensemble de Zhentu

Zhentu est un produit multimédia de contrôle visuel des risques conçu par BestPay et profondément intégré aux technologies d'apprentissage automatique (ML) et de reconnaissance d'images par réseau neuronal. Son algorithme intégré peut identifier avec précision les fraudeurs lors de l'authentification de l'utilisateur et réagir au niveau de la milliseconde. Grâce à sa technologie de pointe et à sa solution innovante, Zhentu a obtenu cinq brevets et deux droits d'auteur sur des logiciels. Il est actuellement utilisé par un certain nombre de banques et d'institutions financières pour aider à identifier les risques potentiels à l'avance.

Structure du système

BestPay possède actuellement plus de 10 millions de photos de licences d'entreprise, et le volume actuel continue de croître de manière exponentielle au fur et à mesure que l'entreprise se développe. Afin d'extraire rapidement des photos similaires d'une base de données aussi importante, Zhentu a choisi Milvus comme moteur de calcul de la similarité des vecteurs de caractéristiques. La structure générale du système de détection de la fraude photographique est illustrée dans le diagramme ci-dessous.

img

La procédure peut être divisée en quatre étapes :

1. Prétraitement de l'image. Le prétraitement, qui comprend la réduction du bruit, l'élimination du bruit et l'amélioration du contraste, garantit à la fois l'intégrité de l'information originale et l'élimination de l'information inutile du signal de l'image.

2. Extraction du vecteur de caractéristiques. Un modèle d'apprentissage profond spécialement entraîné est utilisé pour extraire les vecteurs de caractéristiques de l'image. La conversion des images en vecteurs en vue d'une recherche de similarité ultérieure est une opération de routine.

3. Normalisation. La normalisation des vecteurs de caractéristiques extraits permet d'améliorer l'efficacité du traitement ultérieur.

4. Recherche vectorielle avec Milvus. Insertion des vecteurs caractéristiques normalisés dans la base de données Milvus pour la recherche de similitudes vectorielles.

Déploiement

Voici une brève description du déploiement du système de détection de la fraude photographique de Zhentu.

Architecture du système Milvus

Nous avons déployé notre cluster Milvus sur Kubernetes pour assurer la haute disponibilité et la synchronisation en temps réel des services cloud. Les étapes générales sont les suivantes :

1. Afficher les ressources disponibles. Exécutez la commande kubectl describe nodes pour voir les ressources que le cluster Kubernetes peut allouer aux cas créés.

2. Allouer des ressources. Exécutez la commande kubect`` -- apply xxx.yaml pour allouer des ressources de mémoire et de CPU aux composants du cluster Milvus à l'aide de Helm.

3. Appliquer la nouvelle configuration. Exécuter la commande helm upgrade my-release milvus/milvus --reuse-values -fresources.yaml.

4. Appliquer la nouvelle configuration au cluster Milvus. Le cluster déployé de cette manière nous permet non seulement d'ajuster la capacité du système en fonction des différents besoins de l'entreprise, mais aussi de mieux répondre aux exigences de haute performance pour la recherche massive de données vectorielles.

Vous pouvez configurer Milvus pour optimiser les performances de recherche pour différents types de données provenant de différents scénarios commerciaux, comme le montrent les deux exemples suivants.

Lors de la construction de l'index vectoriel, nous paramétrons l'index en fonction du scénario réel du système comme suit :

index = {"index_type": "IVF_PQ", "params": {"nlist": 2048}, "metric_type": "IP"}

IVF_PQ effectue le regroupement de l'index IVF avant de quantifier le produit des vecteurs. Il se caractérise par une grande vitesse d'interrogation des disques et une très faible consommation de mémoire, ce qui répond aux besoins de l'application réelle de Zhentu.

En outre, nous définissons les paramètres de recherche optimaux comme suit :

search_params = {"metric_type": "IP", "params": {"nprobe": 32}}

Comme les vecteurs sont déjà normalisés avant d'être introduits dans Milvus, le produit intérieur (PI) est choisi pour calculer la distance entre deux vecteurs. Les expériences ont prouvé que le taux de rappel augmente d'environ 15 % en utilisant le produit intérieur par rapport à la distance euclidienne (L2).

Les exemples ci-dessus montrent que nous pouvons tester et définir les paramètres de Milvus en fonction de différents scénarios commerciaux et exigences de performance.

En outre, Milvus intègre non seulement différentes bibliothèques d'index, mais prend également en charge différents types d'index et méthodes de calcul de la similarité. Milvus fournit également des SDK officiels dans plusieurs langues et des API riches pour l'insertion, l'interrogation, etc., ce qui permet à nos groupes commerciaux frontaux d'utiliser les SDK pour faire appel au centre de contrôle des risques.

Performances en situation réelle

Jusqu'à présent, le système de détection des fraudes photographiques a fonctionné régulièrement, aidant les entreprises à identifier les fraudeurs potentiels. En 2021, il a détecté plus de 20 000 faux permis tout au long de l'année. En termes de vitesse d'interrogation, une requête sur un seul vecteur parmi des dizaines de millions de vecteurs prend moins d'une seconde, et le temps moyen d'une requête par lot est inférieur à 0,08 seconde. La recherche haute performance de Milvus répond aux besoins des entreprises en termes de précision et de simultanéité.

Référence

Aglave P, Kolkure V S. Implementation of High Performance Feature Extraction Method Using Oriented Fast and Rotated Brief Algorithm [J]. Int. J. Res. Eng. Technol, 2015, 4 : 394-397.

À propos de BestPay

China Telecom BestPay Co., Ltd est une filiale à 100 % de China Telecom. Elle exerce des activités de paiement et de financement. BestPay s'engage à utiliser des technologies de pointe telles que le big data, l'intelligence artificielle et l'informatique en nuage pour favoriser l'innovation commerciale, en fournissant des produits intelligents, des solutions de contrôle des risques et d'autres services. Jusqu'en janvier 2016, l'application appelée BestPay a attiré plus de 200 millions d'utilisateurs et est devenue le troisième plus grand opérateur de plateforme de paiement en Chine, suivant de près Alipay et WeChat Payment.