Milvusマイグレーション概要
Milvusは、ユーザーベースの多様なニーズを認識し、Milvus 1.x以前のバージョンからのアップグレードを容易にするだけでなく、Elasticsearchや Faissのような他のシステムからのシームレスなデータ統合を可能にするためにマイグレーションツールを拡張しました。Milvusマイグレーションプロジェクトは、このような様々なデータ環境とMilvusテクノロジーの最新の進歩とのギャップを埋めるために設計されており、お客様が改善された機能とパフォーマンスをシームレスに利用できることを保証します。
対応マイグレーション
Milvusマイグレーションツールは、様々なユーザーニーズに対応するため、様々なマイグレーションパスをサポートしています：
- ElasticsearchからMilvus 2.xへの移行：ElasticsearchからMilvus 2.xへの移行：Elasticsearch環境からデータを移行し、Milvusの最適化されたベクトル検索機能を利用することができます。
- FaissからMilvus 2.xへ：効率的な類似検索のための一般的なライブラリであるFaissからのデータ移行を実験的にサポート。
- Milvus 1.xからMilvus 2.xへ：旧バージョンのデータを最新フレームワークへスムーズに移行。
- Milvus 2.3.xからMilvus 2.3.x以上へ：既に2.3.xに移行したユーザーに対して、1回限りの移行パスを提供。
特徴
Milvus-migrationは、多様な移行シナリオに対応できるよう、堅牢な機能を備えています：
- 複数のインタラクションメソッド：コマンドラインインターフェイスまたはRestful APIを通じてマイグレーションを実行することができ、マイグレーションの実行方法を柔軟に変更することができます。
- 様々なファイル形式とクラウドストレージのサポートMilvusマイグレーションツールは、ローカルファイルだけでなく、S3、OSS、GCPなどのクラウドストレージに保存されたデータを扱うことができ、幅広い互換性を確保します。
- データタイプの取り扱い：Milvus-migrationはベクトルデータとスカラーフィールドの両方を扱うことができるため、様々なデータ移行のニーズに対応することができます。
アーキテクチャ
Milvus-migrationのアーキテクチャは、効率的なデータストリーミング、解析、書き込み処理を促進するために戦略的に設計されており、様々なデータソース間で堅牢なマイグレーション機能を実現します。
Milvusマイグレーションアーキテクチャ
先の図では
- データソース Milvus-migrationは、scroll API経由のElasticsearch、ローカルまたはクラウドストレージのデータファイル、Milvus 1.xデータベースを含む複数のデータソースをサポートしています。これらは移行プロセスを開始するために合理化された方法でアクセスされ、読み込まれます。
- ストリームパイプライン
- 解析プロセス：ソースからのデータはそのフォーマットに従って解析されます。例えば、ElasticsearchからのデータソースにはElasticsearchフォーマットのパーサーが採用され、その他のフォーマットにはそれぞれのパーサーが使用される。このステップは、生データをさらに処理可能な構造化フォーマットに変換するために重要である。
- 変換プロセス：パーシングの後、データは変換され、フィールドはフィルタリングされ、データ型は変換され、テーブル名はターゲットMilvus 2.xスキーマに従って調整されます。これにより、データはMilvusで期待される構造と型に適合するようになります。
- データの書き込みと読み込み
- データを書き込む：処理されたデータは中間的なJSONファイルまたはNumPyファイルに書き込まれ、Milvus 2.xにロードされます。
- データのロードデータは最終的にBulkInsertオペレーションを使ってMilvus 2.xにロードされ、大量のデータが効率的にMilvusストレージシステム（クラウドベースまたはファイルストア）に書き込まれる。
今後の計画
開発チームは、Milvusマイグレーションに以下のような機能を追加していく予定です：
- より多くのデータソースのサポートPinecone、Chroma、Qdrantのようなデータベースやファイルシステムのサポートを拡張する予定です。特定のデータソースのサポートが必要な場合は、このGitHub issue linkからリクエストを送信してください。
- コマンドの簡素化：コマンドプロセスを簡素化し、より簡単に実行できるようにしました。
- SPIパーサー／変換：このアーキテクチャには、解析と変換の両方のためのサービス・プロバイダー・インターフェース（SPI）ツールが含まれる予定です。これらのツールは、特定のデータ形式や変換ルールを扱うために、ユーザーが移行プロセスにプラグインできるカスタム実装を可能にする。
- チェックポイントの再開：移行を最後のチェックポイントから再開できるようにし、中断時の信頼性と効率を高める。セーブポイントはデータの整合性を確保するために作成され、SQLiteやMySQLなどのデータベースに保存され、移行プロセスの進捗を追跡します。
