KubernetesでHelmを使ってMilvusを起動する

このページでは、Milvus Helmチャートを使用してKubernetesでMilvusインスタンスを起動する方法を説明します。

概要

Helmはチャートと呼ばれるパッケージングフォーマットを使用します。チャートとは、Kubernetesリソースの関連するセットを記述したファイルのコレクションです。Milvusは、Milvusの依存関係やコンポーネントをデプロイするのに役立つチャートのセットを提供します。

前提条件

• Helm CLIをインストールする。

• K8sクラスタを作成する。

• StorageClassをインストールする。インストールされたStorageClassは次のように確認できます。

  $ kubectl get sc
  
  NAME                  PROVISIONER                  RECLAIMPOLICY    VOLUMEBIINDINGMODE    ALLOWVOLUMEEXPANSION     AGE
  standard (default)    k8s.io/minikube-hostpath     Delete           Immediate             false 
  

• インストール前にハードウェアとソフトウェアの要件を確認します。

• Milvusをインストールする前に、Milvus Sizing Toolを使用して、データサイズに基づいてハードウェア要件を見積もることを推奨します。これにより、Milvusのインストールに最適なパフォーマンスとリソースを確保することができます。

Milvus Helm Chartのインストール

Milvus Helm Chartsをインストールする前に、Milvus Helmリポジトリを追加する必要があります。

$ helm repo add milvus https://zilliztech.github.io/milvus-helm/

helm repo add zilliztech https://zilliztech.github.io/milvus-helm/
helm repo update
# upgrade existing helm release
helm upgrade my-release zilliztech/milvus

Milvusチャートをリポジトリから取得するには以下のようにします：

$ helm repo update

このコマンドを実行することで、常に最新のMilvus Helmチャートを取得することができます。

オンラインインストール

1.Milvusクラスタのデプロイ

Helmチャートをインストールしたら、Kubernetes上でMilvusを起動できます。ここでは、Milvusの起動手順を説明します。

$ helm install my-release milvus/milvus

上記のコマンドでは、my-release がリリース名、milvus/milvus がローカルにインストールされているチャートリポジトリです。別の名前を使用する場合は、my-release を適切なものに置き換えてください。

上記のコマンドは、Milvusクラスタとそのコンポーネントおよび依存関係をデフォルトの設定でデプロイします。これらの設定をカスタマイズするには、Milvus Sizing Toolを使用して実際のデータサイズに基づいて設定を調整し、対応するYAMLファイルをダウンロードすることをお勧めします。コンフィギュレーションパラメータの詳細については、Milvusシステムコンフィギュレーションチェックリストをご参照ください。

2.Milvusクラスタのステータスの確認

以下のコマンドを実行し、Milvusクラスタ内のすべてのPodのステータスを確認します。

$ kubectl get pods

すべてのPodが稼働していれば、上記コマンドの出力は以下のようになるはずです：

NAME                                             READY  STATUS   RESTARTS  AGE
my-release-etcd-0                                1/1    Running   0        3m23s
my-release-etcd-1                                1/1    Running   0        3m23s
my-release-etcd-2                                1/1    Running   0        3m23s
my-release-milvus-datanode-68cb87dcbd-4khpm      1/1    Running   0        3m23s
my-release-milvus-indexnode-5c5f7b5bd9-l8hjg     1/1    Running   0        3m24s
my-release-milvus-mixcoord-7fb9488465-dmbbj      1/1    Running   0        3m23s
my-release-milvus-proxy-6bd7f5587-ds2xv          1/1    Running   0        3m24s
my-release-milvus-querynode-5cd8fff495-k6gtg     1/1    Running   0        3m24s
my-release-minio-0                               1/1    Running   0        3m23s
my-release-minio-1                               1/1    Running   0        3m23s
my-release-minio-2                               1/1    Running   0        3m23s
my-release-minio-3                               1/1    Running   0        3m23s
my-release-pulsar-autorecovery-86f5dbdf77-lchpc  1/1    Running   0        3m24s
my-release-pulsar-bookkeeper-0                   1/1    Running   0        3m23s
my-release-pulsar-bookkeeper-1                   1/1    Running   0        98s
my-release-pulsar-broker-556ff89d4c-2m29m        1/1    Running   0        3m23s
my-release-pulsar-proxy-6fbd75db75-nhg4v         1/1    Running   0        3m23s
my-release-pulsar-zookeeper-0                    1/1    Running   0        3m23s
my-release-pulsar-zookeeper-metadata-98zbr       0/1   Completed  0        3m24s

3.ローカルポートをMilvusに転送する

以下のコマンドを実行して、Milvusクラスタがサービスを提供しているポートを取得します。

$ kubectl get pod my-release-milvus-proxy-6bd7f5587-ds2xv --template
='{{(index (index .spec.containers 0).ports 0).containerPort}}{{"\n"}}'
19530

出力は、Milvusインスタンスがデフォルトのポート19530でサービスを提供していることを示しています。

次に、以下のコマンドを実行して、ローカルポートをMilvusがサービスを提供するポートに転送します。

$ kubectl port-forward service/my-release-milvus 27017:19530
Forwarding from 127.0.0.1:27017 -> 19530

オプションとして、上記のコマンドで27017:19530 の代わりに:19530 を使用することで、kubectl にローカルポートを割り当てさせることができ、ポートの競合を管理する必要がなくなります。

デフォルトでは、kubectlのポートフォワーディングはlocalhost のみをリッスンします。Milvusに選択したIPアドレスまたはすべてのIPアドレスをリッスンさせたい場合は、address フラグを使用してください。以下のコマンドは、port-forwardをホストマシンのすべてのIPアドレスでリッスンするようにします。

$ kubectl port-forward --address 0.0.0.0 service/my-release-milvus 27017:19530
Forwarding from 0.0.0.0:27017 -> 19530

オフラインインストール

ネットワークが制限されている環境では、このセクションの手順に従ってMilvusクラスタを起動してください。

1.Milvusマニフェストの取得

以下のコマンドを実行してMilvusマニフェストを取得します。

$ helm template my-release milvus/milvus > milvus_manifest.yaml

上記のコマンドはMilvusクラスタのチャートテンプレートをレンダリングし、その出力をmilvus_manifest.yaml という名前のマニフェストファイルに保存します。このマニフェストを使用して、コンポーネントと依存関係を持つMilvusクラスタを個別のポッドにインストールすることができます。

2.image-pulling スクリプトのダウンロード

画像抽出スクリプトはPythonで開発されています。requirement.txt ファイルにある依存関係とともにスクリプトをダウンロードしてください。

$ wget https://raw.githubusercontent.com/milvus-io/milvus/master/deployments/offline/requirements.txt
$ wget https://raw.githubusercontent.com/milvus-io/milvus/master/deployments/offline/save_image.py

3.画像の取り込みと保存

以下のコマンドを実行し、必要な画像を取り込んで保存します。

$ pip3 install -r requirements.txt
$ python3 save_image.py --manifest milvus_manifest.yaml

画像はカレントディレクトリのimages というサブフォルダに取り込まれます。

4.画像のロード

以下のようにして、ネットワーク制限環境のホストにイメージをロードできます：

$ for image in $(find . -type f -name "*.tar.gz") ; do gunzip -c $image | docker load; done

5.Milvusのデプロイ

$ kubectl apply -f milvus_manifest.yaml

ここまでで、オンラインインストールのステップ2と3に従ってクラスタの状態を確認し、ローカルポートをMilvusに転送することができます。

稼働中のMilvusクラスタのアップグレード

以下のコマンドを実行し、稼働中のMilvusクラスタを最新バージョンにアップグレードします：

$ helm repo update
$ helm upgrade my-release zilliztech/milvus

Milvusのアンインストール

以下のコマンドを実行し、Milvusをアンインストールします。

$ helm uninstall my-release

次の作業

DockerにMilvusをインストールしました：

• Hello MilvusでMilvusの機能を確認する。

• Milvusの基本操作を学ぶ：

  • データベースの管理
  • コレクションの管理
  • パーティションの管理
  • 挿入、アップサート、削除
  • 単一ベクトル検索
  • ハイブリッド検索

• Helm Chartを使用したMilvusのアップグレード。

• Milvusクラスタをスケールする。

• Milvusクラスターをクラウド上にデプロイする：

  • Amazon EKS
  • Googleクラウド
  • Microsoft Azure

• MilvusのデータバックアップのためのオープンソースツールであるMilvus Backupをご紹介します。

• Milvusのデバッグとダイナミックコンフィギュレーションアップデートのためのオープンソースツール、Birdwatcherのご紹介。

• Milvusを直感的に管理するオープンソースのGUIツールAttuをご覧ください。

• PrometheusでMilvusを監視する。