ビデオ類似検索

このチュートリアルでは、オープンソースのベクトルデータベースであるMilvusを使って、動画の類似性検索システムを構築する方法を紹介します。

• オープンJupyterノートブック

使用したMLモデルとサードパーティソフトウェアは以下の通りです：

• OpenCV
• ResNet-50
• MySQL
• Towhee

今日、人々は気に入った映画やビデオを見た後、簡単にスクリーンショットを撮り、様々なソーシャルネットワーキングプラットフォームに投稿して感想を共有することができる。フォロワーがスクリーンショットを見たとき、投稿に映画名が明記されていなければ、それがどの映画なのかを見分けるのは本当に難しい。映画名を知るために、人々は動画類似検索システムを利用することができる。このシステムを使うことで、ユーザーは画像をアップロードし、アップロードされた画像に似たキーフレームを含む動画や映画を取得することができる。

このチュートリアルでは、動画類似検索システムを構築する方法を学びます。このチュートリアルでは、Tumblrにある約100のアニメーションGIFを使ってシステムを構築します。しかし、自分で動画データセットを用意することもできる。このシステムでは、まずOpenCVを使って動画のキーフレームを抽出し、ResNet-50を使って各キーフレームの特徴ベクトルを取得します。全てのベクトルはMilvusに保存され検索され、類似したベクトルのIDが返される。そして、そのIDをMySQLに格納されている対応する動画に対応付ける。

video_search video_search_demo