🚀 免費嘗試 Zilliz Cloud,完全托管的 Milvus,體驗速度提升 10 倍!立即嘗試

milvus-logo
LFAI

2023:人工智能之年

    January 05, 2024
    James Luan

    This image is generated by AI. 此圖片由 AI 產生。

    本文章由 James Luan 在 ChatGPT 的協助下撰寫。James 主要撰寫提示內容,並審閱與修飾 AI 所產生的內容。

    2023:人工智能之年

    2023 年標誌著人工智能 (AI) 的一個關鍵轉折點。大型語言模型 (Large Language Models, LLM)已經站到了舞台的中心,其卓越的自然語言處理能力獲得了廣泛的認可。這股熱潮大幅擴展了機器學習應用程式的可能性,讓開發人員能夠建構更智慧、更互動的應用程式。

    在這場革命中,向量資料庫已經成為一個重要的組成部分,成為 LLM 的長期記憶體。檢索增強世代 (Retrieval-Augmented Generation, RAG)模型、智慧型代理人和多模態檢索應用程式的興起,證明向量資料庫在提升多模態資料檢索效率、減少 LLM 的幻覺和補充領域知識方面的巨大潛力。

    LLM 的演進也催化了嵌入技術的顯著進步。根據 HuggingFace 上的Massive Text Embedding Benchmark (MTEB) Leaderboard,UAE、VoyageAI、CohereV3 和 Bge 等領先的嵌入模型都是在 2023 年發表的。這些進展提升了 Milvus 等各種向量搜尋技術的向量擷取效能,為 AI 應用提供更精準、更有效率的資料處理能力。

    然而,隨著向量資料庫的日益普及,專業解決方案的必要性也引起了爭論。數以十計的創業公司進入向量資料庫領域。許多傳統的關聯式資料庫和 NoSQL 資料庫開始將向量視為重要的資料類型,許多資料庫聲稱能夠在各種情況下取代專門的向量資料庫。

    當我們進入 2024 年時,這是一個反思整個向量資料庫產業的明智時刻,特別要關注 Milvus--在這個版圖中脫穎而出的產品。

    2023 年的 Milvus:數字不會說謊

    Milvus於 2019 年首次推出,開創了向量資料庫的概念,並持續維持高可靠性、可擴充性、搜尋品質和效能的聲譽。在 2023 年,Milvus 取得了令人印象深刻的成績,並經歷了重大的轉變,主要是由 LLM 的快速進展和 AIGC 應用的蓬勃發展所帶動。以下是最能代表 Milvus 在 2023 年進展的一些關鍵數據。

    滾動升級期間零停機時間

    對於那些剛開始使用向量資料庫的人來說,他們主要關注的中心是功能性,而不是操作維護。與交易型資料庫相比,許多應用程式開發人員也較少注意向量資料庫的穩定性,因為他們的應用程式通常處於早期探索階段。然而,如果您希望將 AIGC 應用程式部署在生產環境中,並達到最佳的使用者體驗,穩定性就變得不可或缺。

    Milvus 的與眾不同之處在於它不僅優先考慮功能性,而且還優先考慮操作的穩定性。從版本 2.2.3 開始,我們為 Milvus 增加了滾動升級功能。經過不斷的改進,這項功能可以確保升級過程中零停機,而不會中斷業務流程。

    在生產環境中提升 3 倍的效能

    提升向量搜尋效能需要成為向量資料庫的首要目標。許多向量搜尋解決方案選擇以適應HNSW演算法為基礎,以便快速上市;不幸的是,這導致它們在實際生產環境中面臨重大挑戰,尤其是在高度過濾搜尋 (90% 以上) 和資料刪除頻繁的情況下。Milvus 從一開始就考慮到效能,並在開發的任何階段優化效能,尤其是在生產環境中,取得三倍的搜尋效能改善,特別是在篩選搜尋和串流插入/搜尋的情況下。

    為了進一步協助向量資料庫社群,我們在去年推出了開放原始碼基準測試工具VectorDBBench。這個工具對於向量資料庫在不同條件下的早期評估非常重要。與傳統的評估方法不同,VectorDBBench 使用真實世界的資料來評估資料庫,包括超大型資料集或與實際嵌入模型的資料十分相似的資料集,為使用者提供更具洞察力的資訊,讓他們做出明智的決策。

    Beir 資料集的召回率提升 5

    雖然密集嵌入已證明在向量搜尋中有效,但在搜尋名稱、物件、縮寫和簡短查詢上下文時,它們必須迎頭趕上。為了因應它們的限制,Milvus 推出了混合查詢方法,將密集內嵌與稀疏內嵌整合在一起,以提升搜尋結果的品質。這種混合解決方案與重排模型的協同效應,使得 Beir 資料集的召回率大幅提升了 5%,我們的測試也證實了這一點。

    除了搜尋品質的改善之外,Milvus 還發表了專為稀疏內嵌量身打造的圖形化檢索解決方案,其效能超越 WAND 等傳統搜尋演算法。

    在 2023 NeurIPS BigANN 競賽中,Zilliz 的天才工程師王子豪展示了Pyanns,這是一種搜尋演算法,在稀疏嵌入搜尋軌道中展示出顯著優於其他參賽作品的性能。這個突破性的解決方案是我們用於生產環境的稀疏嵌入搜尋演算法的先驅。

    在大型資料集上可節省 10 倍記憶體

    2023 年,Retrieval Augmented Generation(RAG) 是向量資料庫最流行的使用案例。然而,RAG 應用的向量資料量增加,為這些應用帶來了儲存上的挑戰。當轉換向量的容量超過原始文件塊的容量時,這種挑戰尤其顯著,可能會使記憶體使用成本攀升。舉例來說,在將文檔分割成文檔區塊之後,由 500-token 文檔區塊 (約 1kb)轉換而成的 1536 維 float32 向量 (約 3kb),其大小比 500-token 文檔區塊還要大。

    Milvus 是第一個支援磁碟索引的開放原始碼向量資料庫,帶來 5 倍的顯著記憶體節省。到 2023 年底,我們推出Milvus 2.3.4,讓標量和向量資料/索引能夠使用記憶體映射檔案(MMap) 載入磁碟。與傳統的記憶體內索引相比,這項進步可減少 10 倍以上的記憶體使用量。

    20 次 Milvus 發佈

    在 2023 年,Milvus 經歷了以重要里程碑為標誌的轉型旅程。在這一年中,我們推出了 20 個版本,證明了 300 多名社群開發人員的奉獻精神,也實現了我們在開發過程中以使用者為導向的承諾。

    舉例來說,Milvus 2.2.9 引入了動態模式,標誌著從優先性能到增強可用性的重要轉變。在此基礎上,Milvus 2.3引入了 Upsert、Range Search、Cosine metrics 等關鍵功能,這些都是由用戶社區的特定需求和反饋驅動的。這種迭代式的開發過程強調了我們的承諾,即持續使 Milvus 符合用戶不斷變化的需求。

    單一 Custer 中的 1,000,000 個租戶

    實施多租戶對於開發 RAG 系統、AI 代理和其他 LLM 應用程式至關重要,可滿足使用者對資料隔離的高度需求。對於 B2C 企業而言,租戶數量可能會飆升至數百萬,使得使用者資料的實體隔離變得不切實際(舉例而言,不太可能有人會在關聯式資料庫中建立數百萬個資料表)。Milvus 引入了分區鍵功能,允許根據分區鍵進行高效的邏輯隔離和資料過濾,這在大規模時非常方便。

    相反,慣於處理數以萬計租戶的 B2B 企業,則可從涉及實體資源隔離的更細微策略中獲益。最新的 Milvus 2.3.4 帶來了增強的記憶體管理、coroutine 處理和 CPU 最佳化,讓在單一叢集中建立數以萬計的資料表更加容易。這項增強功能也能滿足 B2B 企業的需求,提升效率與控制力。

    10,000,000 次 Docker 映像拉取

    隨著 2023 年接近尾聲,Milvus 達到了令人印象深刻的里程碑,Docker 拉取下載量達到1,000 萬次。這項成就標誌著開發人員社群對 Milvus 的興趣與日俱增,也突顯出 Milvus 在向量資料庫領域中日益重要的地位。

    作為世界上第一個雲端原生向量資料庫,Milvus 擁有與 Kubernetes 和更廣泛的容器生態系統的無縫整合。展望未來,我們不禁要思考不斷演進的向量資料庫領域的下一個焦點。這會是 Serverless 服務的興起嗎?

    單一集合中的 100 億個實體

    雖然可擴充性現在可能不會成為人工智慧現象的焦點,但它絕對扮演著舉足輕重的角色,絕非只是旁門左道。Milvus 矢量資料庫能夠無縫擴充至容納數十億個矢量資料,而不費吹灰之力。以我們的一位 LLM 客戶為例。Milvus 可以毫不費力地幫助這位客戶儲存、處理和擷取驚人的 100 億個資料點。但是,當您處理如此大量的資料時,該如何平衡成本與效能?請放心,Mivus 具備各種功能,可協助您解決這項挑戰,並提升您的體驗。

    超越數字:向量資料庫的新領悟

    除了數字上的里程碑,2023 年也豐富了我們寶貴的見解。我們深入了解向量資料庫的複雜性,超越單純的統計數據,掌握向量搜尋技術的微妙差異與不斷演進的動態。

    LLM 應用程式仍處於早期階段。

    回想在行動網際網路蓬勃發展的早期,許多開發人員創造了手電筒或天氣預報等簡單的應用程式,這些應用程式最後都整合到智慧型手機作業系統中。去年,大多數的 AI Native 應用程式,例如在 GitHub 上迅速飆上 10 萬顆星的 AutoGPT,並沒有帶來實際價值,只代表有意義的實驗。對向量資料庫應用程式而言,目前的使用案例可能只是 AI Native 轉型的第一波,我熱切期待更多的殺手級使用案例出現。

    向量資料庫走向多樣化。

    與資料庫演進至 OLTP、OLAP 和 NoSQL 等類別類似,向量資料庫也呈現了明顯的多樣化趨勢。與傳統的線上服務不同,離線分析已獲得顯著的發展。這種轉變的另一個顯著例子是GPTCache 的推出,這是一種開放原始碼的語意快取,於 2023 年發表。它透過儲存和擷取語言模型所產生的回應,提升了以 GPT 為基礎的應用程式的效率和速度。

    我們希望並興奮地目睹來年向量資料庫更多元化的應用與系統設計。

    向量操作變得更加複雜。

    雖然支援近似最近鄰 (ANN)搜尋是向量資料庫的一大特色,但它並不是單獨存在的。一般人認為,僅僅保持近似近鄰搜尋就足以將資料庫歸類為向量或 AI 原生資料庫,這種想法過於簡化了向量作業的複雜性。除了混合標量篩選和向量搜尋的基本功能之外,為 AI 原生應用程式量身打造的資料庫應該支援更複雜的語意功能,例如 NN Filtering、KNN Join 和群集查詢。

    彈性擴充能力對於 AI 原生應用程式而言至關重要。

    AI 應用程式的指數級成長,以 ChatGPT 在兩個月內累積超過 1 億名月活躍使用者為例,超越了任何先前的商業軌跡。一旦企業的成長步入正轨,迅速從 100 萬個資料點擴充到 10 億個資料點就變得至關重要。AI 應用程式開發人員可從 LLM 供應商設定的隨用隨付服務模式中獲益,進而大幅降低營運成本。同樣地,對開發人員而言,儲存符合此定價模式的資料相當有利,可讓他們將更多注意力放在核心業務上。

    與語言模型 (LLM) 及其他各種技術系統不同,向量資料庫以有狀態的方式運作,其功能需要持久性的資料儲存。因此,在選擇向量資料庫時,必須優先考量彈性和可擴充性。此優先順序可確保符合不斷演進的人工智慧應用程式的動態需求,突顯出無縫適應不斷變化的工作負載的需求。

    在向量資料庫中利用機器學習可以產生非凡的效果。

    2023 年,我們在 AI4DB (AI for Database) 項目上的大量投資取得了顯著的成果。作為我們努力的一部分,我們在完全管理的 Milvus 解決方案Zilliz Cloud 中引入了兩項關鍵功能:1) AutoIndex,一種植根於機器學習的自動參數調整索引;以及 2) 基於資料聚類的資料分割策略。這兩項創新在大幅提升 Zilliz Cloud 的搜尋效能上扮演了關鍵的角色。

    開放原始碼與封閉式原始碼

    OpenAI 的 GPT 系列和 Claude 等封閉源碼 LLM 目前處於領先地位,由於缺乏可比較的計算和資料資源,開放源碼社群處於劣勢。

    然而,在向量資料庫中,開放原始碼最終會成為使用者的首選。選擇開放原始碼有許多優點,包括更多元的使用個案、加速迭代,以及培養更健全的生態系統。此外,資料庫系統錯綜複雜,無法負擔通常與 LLM 相關的不透明性。使用者必須徹底瞭解資料庫,才能選擇最合理的使用方式。此外,開放原始碼的透明性讓使用者擁有自由和控制權,可根據自己的需求自訂資料庫。

    結語 - 新的開始!

    隨著 2023 年在轉變中迅速過去,向量資料庫的故事才剛剛開始。我們在 Milvus 向量資料庫的旅程中,並沒有迷失在 AIGC 的炒作中。相反,我們專注於精心開發我們的產品、識別和培育符合我們優勢的應用用例,並堅定不移地為我們的用戶服務。我們致力於開放原始碼,目的在於縮短我們與使用者之間的距離,讓他們即使遠距離也能感受到我們的用心與匠心。

    2023 年也有許多 AI 創業公司成立,並獲得第一輪融資。看到這些開發人員的創新,實在令人興奮,也讓我想起當初為什麼要進入 VectorDB 開發的原因。2024 年將是所有這些創新應用程式獲得真正牽引力的一年,不僅能吸引資金,還能吸引真正的付費客戶。客戶收入將為這些開發者帶來不同的需求,因為建立一個完全可擴充的解決方案,並且幾乎沒有停機時間是最重要的。

    讓我們在 2024 年創造非凡!

    Try Managed Milvus for Free

    Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

    Get Started

    Like the article? Spread the word

    繼續閱讀