Milvus 遷移概述

Milvus意識到用戶群的多樣化需求，擴展了其遷移工具，不僅方便從早期的Milvus 1.x版本升級，還能無縫集成來自其他系統（如Elasticsearch和Faiss）的數據。Milvus-migration專案旨在縮短這些不同資料環境與 Milvus 技術最新進展之間的差距，確保您能無縫利用改進的功能和效能。

支援的遷移

Milvus-migration工具支援多種遷移路徑，以滿足不同使用者的需求：

• Elasticsearch 至 Milvus 2.x：讓使用者能夠從 Elasticsearch 環境遷移資料，以利用 Milvus 最佳化的向量搜尋功能。
• Faiss 至 Milvus 2.x：提供從 Faiss 轉移資料的實驗性支援，Faiss 是高效率相似性搜尋的流行函式庫。
• Milvus 1.x 至 Milvus 2.x：確保早期版本的資料能順利過渡到最新的架構。
• Milvus 2.3.x 至 Milvus 2.3.x 或以上版本：為已遷移至 2.3.x 的使用者提供一次性遷移路徑。

特點

Milvus-migration 具備強大的功能，可處理各種不同的遷移情境：

• 多種互動方式：您可以透過命令列介面或 Restful API 執行遷移，彈性處理遷移的執行方式。
• 支援各種檔案格式與雲端儲存：Milvus-migration工具可處理儲存在本機檔案以及 S3、OSS 和 GCP 等雲端儲存解決方案中的資料，確保廣泛的相容性。
• 資料類型處理：Milvus-migration既能處理向量資料，也能處理標量值欄位，是滿足不同資料遷移需求的多用途選擇。

架構

Milvus-migration的架構是經過策略性的設計，以促進有效率的資料串流、解析和寫入過程，使其能夠在各種資料來源之間進行強大的遷移能力。

Milvus-migration架構

在上圖中

• 資料來源：Milvus-migration支援多種資料來源，包括透過scroll API 的 Elasticsearch、本機或雲端儲存的資料檔案，以及 Milvus 1.x 資料庫。這些資料會以簡化的方式存取與讀取，以啟動遷移程序。
• 流管道：
  • 解析流程：來自資料來源的資料會根據其格式進行解析。例如，對於來自 Elasticsearch 的資料來源，會使用 Elasticsearch 格式解析器，而其他格式則使用各自的解析器。這個步驟對於將原始資料轉換為可進一步處理的結構化格式非常重要。
  • 轉換流程：解析之後，資料會進行轉換，在轉換過程中，欄位會被篩選、資料類型會被轉換，而表名也會根據目標 Milvus 2.x 結構描述進行調整。這可確保資料符合 Milvus 的預期結構和類型。
• 資料寫入與載入：
  • 寫入資料：將處理後的資料寫入中間的 JSON 或 NumPy 檔案，準備載入 Milvus 2.x。
  • 載入資料：資料最後使用BulkInsert作業載入 Milvus 2.x，此作業可有效率地將大量資料寫入 Milvus 儲存系統，無論是雲端或檔案儲存。

未來計劃

開發團隊致力於增強Milvus-migration的功能，例如

• 支援更多資料來源：計劃擴展對其他資料庫和檔案系統的支援，例如 Pinecone、Chroma、Qdrant。如果您需要特定資料來源的支援，請透過此GitHub issue 連結提交您的請求。
• 指令簡化：努力簡化指令流程，讓執行更容易。
• SPI 解析器/轉換器：本架構期望包含服務供應商介面 (SPI) 工具，以進行解析與轉換。這些工具允許自訂實作，使用者可將其插入遷移程序，以處理特定的資料格式或轉換規則。
• 檢查點恢復：使遷移能從上一個檢查點恢復，以提高中斷時的可靠性和效率。會建立儲存點以確保資料完整性，並儲存於 SQLite 或 MySQL 等資料庫中，以追蹤遷移過程的進度。