使用 Helm 在 Kubernetes 中執行 Milvus

本頁面說明如何使用Milvus Helm 圖表在 Kubernetes 中啟動 Milvus 實例。

概述

Helm 使用一種稱為「charts」的封裝格式。charts 是一組檔案的集合，用以描述一組相關的 Kubernetes 資源。Milvus 提供了一組 charts，以協助您部署 Milvus 的依賴項與組件。

先決條件

• 安裝 Helm CLI。

• 建立一個 K8s 叢集。

• 安裝StorageClass。您可以透過以下方式檢查已安裝的 StorageClass。

  $ kubectl get sc
  
  NAME                  PROVISIONER                  RECLAIMPOLICY    VOLUMEBIINDINGMODE    ALLOWVOLUMEEXPANSION     AGE
  standard (default)    k8s.io/minikube-hostpath     Delete           Immediate             false 
  

• 安裝前請先確認硬體與軟體需求。

• 在安裝 Milvus 之前，建議使用Milvus 規格規劃工具，根據您的資料量估算硬體需求。這有助於確保您的 Milvus 安裝能獲得最佳效能與資源分配。

安裝 Milvus Helm Chart

在安裝 Milvus Helm Chart 之前，您需要新增 Milvus Helm 儲存庫。

helm repo add zilliztech https://zilliztech.github.io/milvus-helm/

接著請依照以下步驟從儲存庫取得 Milvus Helm Charts：

$ helm repo update

您隨時可執行此指令以取得最新的 Milvus Helm 圖表。

線上安裝

1. 部署 Milvus 叢集

安裝 Helm 圖表後，即可在 Kubernetes 上啟動 Milvus。本節將引導您部署 Milvus 叢集。

helm install my-release zilliztech/milvus \
  --set image.all.tag=v3.0.3 \
  --set cluster.enabled=false \
  --set pulsarv3.enabled=false \
  --set standalone.messageQueue=woodpecker \
  --set woodpecker.enabled=true \
  --set streaming.enabled=true

部署 Milvus 叢集：

以下指令將部署一個針對 v3.0.3 進行過最佳化設定的 Milvus 叢集，並使用 Woodpecker 作為建議的消息佇列：

helm install my-release zilliztech/milvus \
  --set image.all.tag=v3.0.3 \
  --set woodpecker.enabled=true \
  --set woodpecker.image.tag=v0.1.46 \
  --set streaming.enabled=true \
  --set streaming.woodpecker.embedded=false \
  --set indexNode.enabled=false

此命令的功能：

• 使用Woodpecker作為訊息佇列（建議採用以減少維護工作）
• 將Woodpecker 作為專用服務（獨立的 StatefulSet）運行，而非嵌入至串流節點中
• 啟用新的串流節點 (Streaming Node) 元件以提升效能
• 停用舊版索引節點（相關功能現由資料節點處理）

替代訊息佇列：若要使用 Pulsar、Kafka 或 RocksMQ 取代 Woodpecker 進行部署，請參閱「可選依賴項」。

後續步驟： 上述指令會以建議的設定部署 Milvus。若要投入生產環境使用：

• 請使用Milvus 規模規劃工具，根據您的資料量來優化設定
• 請參閱《Milvus 系統配置檢查清單》以了解進階配置選項

2. 檢查 Milvus 叢集狀態

透過檢查 Pod 狀態來確認部署是否成功：

kubectl get pods

請等待所有 Pod 顯示「Running」狀態。採用 v3.0.3 配置時，您應會看到類似以下的 Pod：

NAME                                             READY  STATUS   RESTARTS  AGE
my-release-etcd-0                                1/1    Running   0        3m23s
my-release-etcd-1                                1/1    Running   0        3m23s
my-release-etcd-2                                1/1    Running   0        3m23s
my-release-milvus-datanode-68cb87dcbd-4khpm      1/1    Running   0        3m23s
my-release-milvus-mixcoord-7fb9488465-dmbbj      1/1    Running   0        3m23s
my-release-milvus-proxy-6bd7f5587-ds2xv          1/1    Running   0        3m24s
my-release-milvus-querynode-5cd8fff495-k6gtg     1/1    Running   0        3m24s
my-release-milvus-streamingnode-7b8cfc769c-mqmsm  1/1    Running   0        3m24s
my-release-milvus-woodpecker-0                   1/1    Running   0        3m24s
my-release-milvus-woodpecker-1                   1/1    Running   0        3m24s
my-release-milvus-woodpecker-2                   1/1    Running   0        3m24s
my-release-milvus-woodpecker-3                   1/1    Running   0        3m24s
my-release-minio-0                               1/1    Running   0        3m23s
my-release-minio-1                               1/1    Running   0        3m23s
my-release-minio-2                               1/1    Running   0        3m23s
my-release-minio-3                               1/1    Running   0        3m23s

需驗證的關鍵元件：

• Milvus 元件：mixcoord 、datanode 、querynode 、proxy 、streamingnode
• 依賴項：etcd （元資料）、minio （物件儲存）、woodpecker （訊息佇列）

設定完畢端口轉發後（請參閱下一步），您亦可透過http://127.0.0.1:9091/webui/ 存取Milvus WebUI。詳細資訊請參閱Milvus WebUI。

3. 連線至 Milvus

若要從 Kubernetes 外部連線至您的 Milvus 叢集，您需要設定端口轉發。

設定端口轉發：

kubectl port-forward service/my-release-milvus 27017:19530

此指令會將您的本地端埠27017 轉發至 Milvus 埠19530 。您應會看到：

Forwarding from 127.0.0.1:27017 -> 19530

連線詳細資訊：

• 本地端連線：localhost:27017
• Milvus 預設埠：19530

使用 Milvus 時請保持此終端機開啟。現在您可以透過任何 Milvus SDK 連線至localhost:27017 來存取 Milvus。

（可選）更新 Milvus 設定

您可以透過編輯 `values.yaml ` 檔案並重新套用，來更新 Milvus 叢集的設定。

1. 建立一個包含所需設定的values.yaml 檔案。

   以下假設您希望啟用proxy.http 。

   extraConfigFiles:
     user.yaml: |+
       proxy:
         http:
           enabled: true
   

   有關適用的設定項目，請參閱《系統設定》。

2. 套用values.yaml 檔案。

helm upgrade my-release zilliztech/milvus --namespace my-namespace -f values.yaml

1. 檢查已更新的設定。

   helm get values my-release
   

   輸出結果應顯示已更新的設定。

存取 Milvus WebUI

Milvus 內建名為 Milvus WebUI 的圖形化使用者介面工具，您可透過瀏覽器存取。Milvus WebUI 透過簡單直覺的介面，提升系統的可觀察性。您可以使用 Milvus WebUI 觀察 Milvus 各元件與依賴項的統計資料和指標、檢查資料庫與收集項的詳細資訊，並列出詳細的 Milvus 配置。 有關 Milvus WebUI 的詳細資訊，請參閱Milvus WebUI

若要啟用對 Milvus WebUI 的存取，您需要將代理 pod 進行端口轉發至本機端口。

$ kubectl port-forward --address 0.0.0.0 service/my-release-milvus 27018:9091
Forwarding from 0.0.0.0:27018 -> 9091

現在，您可透過http://localhost:27018 存取 Milvus WebUI。

離線安裝

若您身處網路受限環境，請依照本節的步驟啟動 Milvus 叢集。

1. 取得 Milvus 配置檔

執行以下指令以取得 Milvus 配置檔。

$ helm template my-release zilliztech/milvus > milvus_manifest.yaml

上述命令會為 Milvus 叢集渲染圖表範本，並將輸出結果儲存至名為milvus_manifest.yaml 的清單檔案中。透過此清單，您可以安裝一個 Milvus 叢集，其各組件與依賴項將分別置於不同的 Pod 中。

2. 下載映像檔拉取腳本

映像拉取腳本以 Python 開發。您應將該腳本及其依賴項一併下載至requirement.txt 檔案中。

$ wget https://raw.githubusercontent.com/milvus-io/milvus/master/deployments/offline/requirements.txt
$ wget https://raw.githubusercontent.com/milvus-io/milvus/master/deployments/offline/save_image.py

3. 拉取並儲存映像檔

執行以下指令以拉取並儲存所需的影像。

$ pip3 install -r requirements.txt
$ python3 save_image.py --manifest milvus_manifest.yaml

圖片將被拉取至當前目錄下名為images 的子資料夾中。

4. 載入圖像

現在您可以依照以下步驟，將影像載入至網路受限環境中的主機：

$ for image in $(find . -type f -name "*.tar.gz") ; do gunzip -c $image | docker load; done

5. 部署 Milvus

$ kubectl apply -f milvus_manifest.yaml

至此，您可以依照線上安裝指南的步驟2和3，檢查叢集狀態並將本機埠轉發至 Milvus。

升級正在運行的 Milvus 叢集

執行以下指令，將您正在運行的 Milvus 叢集升級至最新版本：

$ helm repo update
$ helm upgrade my-release zilliztech/milvus --reset-then-reuse-values

解除安裝 Milvus

執行以下指令以解除安裝 Milvus。

$ helm uninstall my-release

可選的依賴項

此部署使用Woodpecker作為訊息佇列、etcd作為元資料儲存，以及MinIO作為物件儲存。若要使用其他訊息佇列，或連接外部物件儲存／元資料，請參閱：

• 訊息佇列：Woodpecker（預設）·Pulsar·Kafka·RocksMQ
• 物件儲存：MinIO（預設）·AWS S3·Azure Blob·GCP Cloud Storage·阿里雲 OSS·騰訊 COS·華為 OBS·S3 相容
• 元資料：etcd

下一步

在 Docker 中安裝 Milvus 後，您可以：

• 請參閱《Hello Milvus》以了解 Milvus 的功能。

• 學習 Milvus 的基本操作：

  • 管理資料庫
  • 管理集合
  • 管理分區
  • 插入、Upsert 與刪除
  • 單向量搜尋
  • 混合搜尋

• 使用 Helm Chart 升級 Milvus。

• 擴展您的 Milvus 叢集。

• 在雲端部署您的 Milvus 叢集：

  • Amazon EKS
  • Google Cloud
  • Microsoft Azure

• 探索Milvus WebUI，這是專為 Milvus 可觀察性與管理設計的直觀網頁介面。

• 探索Milvus Backup，這是一款用於 Milvus 資料備份的開源工具。

• 探索Birdwatcher，這是一款用於 Milvus 除錯與動態配置更新的開源工具。

• 探索Attu，這是一款用於直觀管理 Milvus 的開源圖形化介面工具。

• 透過 Prometheus 監控 Milvus。