重复数据删除

本教程演示如何使用开源向量数据库 Milvus 构建重复数据删除系统。

• 开放笔记本

使用的 ML 模型和第三方软件包括

• ResNet-50

• Towhee

近年来，用户生成的内容呈指数爆炸式增长。人们可以立即将自己拍摄的图片上传到社交媒体平台。然而，面对如此丰富的图片数据，我们看到了许多重复的内容。为了改善用户体验，必须删除这些重复的图片。重复图像删除系统可以让我们免去逐一比较数据库中的图像以剔除重复图像的人工劳动。挑出完全相同的图片并不是一件复杂的工作。但是，有时图片会被放大、裁剪，或者亮度或灰度被调整。重复数据删除系统需要识别出这些相似的图片，并将其删除。

在本教程中，您将学习如何构建一个重复数据删除系统。本教程使用 ResNet-50 模型提取图像的特征，并将其转换为向量。然后将这些图像向量存储到 Milvus 向量数据库中，同时也在 Milvus 中进行向量相似性搜索。

图像重复复制工作流程