將 Milvus 與 SambaNova 搭配使用
SambaNova是創新的 AI 技術平台,可加速部署先進的 AI 與深度學習功能。該平台專為企業使用而設計,可讓組織利用生成式 AI 來增強效能與效率。透過提供 SambaNova Suite 和 DataScale 等尖端解決方案,該平台可讓企業從資料中擷取有價值的洞察力,推動營運改善,並在 AI 領域中培育新的商機。
SambaNova AI Starter Kits是一系列開放原始碼資源,旨在協助開發人員和企業使用 SambaNova 部署 AI 驅動的應用程式。這些套件提供實用範例與指南,可協助實作各種 AI 用例,讓使用者更容易利用 SambaNova 的先進技術。
本教學利用 SambaNova AI Starter Kits 中的 Milvus 整合,建立企業知識檢索系統,類似 RAG (Retrieval-Augmented Generation),以企業私有文件為基礎進行檢索與回答。
本教學主要參考SambaNova AI Starter Kits官方指南。如果您發現本教學有過時的部分,您可以優先遵循官方指南,並向我們提出問題。
先決條件
我們建議使用 Python >= 3.10 及 < 3.12。
造訪SambaNova Cloud取得 SambaNova API 金鑰。
克隆儲存庫
$ git clone https://github.com/sambanova/ai-starter-kit.git
$ d ai-starter-kit/enterprise_knowledge_retriever
變更向量儲存類型
透過在create_vector_store()
與src/document_retrieval.py
的load_vdb()
函式中設定db_type='milvus'
來變更向量儲存。
...
vectorstore = self.vectordb.create_vector_store(
..., db_type='milvus'
)
...
vectorstore = self.vectordb.load_vdb(..., db_type='milvus', ...)
安裝相依性
執行下列指令安裝所需的相依性:
python3 -m venv enterprise_knowledge_env
source enterprise_knowledge_env/bin/activate
pip install -r requirements.txt
啟動應用程式
使用下列指令啟動應用程式:
$ streamlit run streamlit/app.py --browser.gatherUsageStats false
之後,您會在瀏覽器中看到使用者介面:http://localhost:8501/
在使用者介面中設定您的 SambaNova API 金鑰後,您就可以在使用者介面中玩遊戲,並提出有關文件的問題。
如需更多詳細資訊,請參閱SambaNova AI Starter Kits 的企業知識檢索官方文件。