Milvus Operatorでメッセージストレージを設定する

Milvusでは、RocksMQ、Pulsar、またはKafkaを使用して、最近の変更に関するログの管理、ストリームログの出力、およびログのサブスクリプションを提供します。このトピックでは、Milvus OperatorでMilvusをインストールする際に、メッセージストレージの依存関係を設定する方法を紹介します。詳細については、Milvus Operatorリポジトリの「Milvus Operatorでメッセージストレージを設定する」を参照してください。

このトピックでは、Milvus Operatorをデプロイ済みであることを前提としています。

Milvus Operatorを使用してMilvusクラスタを起動するには、設定ファイルを指定する必要があります。

kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvus_cluster_default.yaml

サードパーティの依存関係を設定するには、milvus_cluster_default.yaml のコードテンプレートを編集するだけです。以下のセクションでは、オブジェクト・ストレージ、etcd、Pulsarの設定方法をそれぞれ紹介します。

始める前に

RocksMQ、Pulsar、Kafka、WoodpeckerがMilvusのスタンドアロンおよびクラスタモードでサポートされているかどうかを以下の表に示します。

メッセージストレージの指定には他にも制限があります：

• 1つのMilvusインスタンスに対して1つのメッセージストレージのみがサポートされます。ただし、1つのインスタンスに複数のメッセージストレージを設定しても、後方互換性があります。優先順位は以下の通りです：
  • スタンドアロンモード RocksMQ (デフォルト) > Pulsar > Kafka
  • クラスタ・モード：Pulsar（デフォルト）> Kafka
• Milvusシステム稼働中は、メッセージストレージを変更することはできません。
• Kafka 2.xまたは3.xバージョンのみがサポートされています。
• アップグレードの制限 メッセージキューの制限Milvus v2.6.16にアップグレードする場合、現在選択しているメッセージキューを維持する必要があります。アップグレード中に異なるメッセージキューシステムを切り替えることはサポートされていません。メッセージキューシステムの変更は将来のバージョンでサポートされる予定です。

RocksMQ の設定

RocksMQはMilvusスタンドアロンのデフォルトのメッセージストレージです。

設定例

以下の例ではRocksMQサービスを設定しています。

apiVersion: milvus.io/v1beta1
kind: Milvus
metadata:
  name: milvus
spec:
  mode: standalone
  dependencies:
    msgStreamType: rocksmq
    rocksmq:
      persistence:
        enabled: true
        pvcDeletion: true
        persistentVolumeClaim:
          spec:
            accessModes: ["ReadWriteOnce"]
            storageClassName: "local-path"  # Specify your storage class
            resources:
              requests:
                storage: 10Gi  # Specify your desired storage size
  components: {}
  config: {}

主な設定オプション

• msgStreamType: rocksmq: メッセージキューとしてRocksMQを明示的に設定します。
• persistence.enabled:RocksMQ のデータを永続的に保存できるようにする。
• persistence.pvcDeletion:trueの場合、milvusインスタンスが削除されるとPVCも削除されます。
• persistentVolumeClaim.spec:Kubernetes標準のPVC仕様
• accessModes:通常ReadWriteOnce ブロックストレージ用
• storageClassName:クラスタのストレージクラス
• storage:永続ボリュームのサイズ

Woodpeckerの設定

Woodpeckerはオブジェクトストレージ用に設計されたクラウドネイティブのWrite-Ahead Log (WAL)です。高いスループット、低い運用オーバーヘッド、シームレスなスケーラビリティを提供します。詳細については、Woodpeckerを使用するをご覧ください。

Pulsarの構成

Pulsarは最近の変更のログを管理し、ストリーム・ログを出力し、ログ・サブスクリプションを提供します。メッセージ・ストレージ用にPulsarを設定することは、MilvusスタンドアロンとMilvusクラスタの両方でサポートされています。ただしMilvus Operatorでは、Milvusクラスタのメッセージ・ストレージとしてのみPulsarを構成することができます。Pulsarを設定するには、spec.dependencies.pulsar の下に必須フィールドを追加してください。

pulsar external および をサポートしています。inCluster

外部Pulsar

external は外部Pulsarサービスの使用を示します。 外部Pulsarサービスの構成に使用されるフィールドには以下が含まれます：

• external: true 値は、Milvusが外部Pulsarサービスを使用していることを示します。
• endpoints:Pulsarのエンドポイント。

例

以下の例では、外部Pulsarサービスを設定しています。

apiVersion: milvus.io/v1alpha1
kind: Milvus
metadata:
  name: my-release
  labels:
    app: milvus
spec:
  dependencies: # Optional
    pulsar: # Optional
      # Whether (=true) to use an existed external pulsar as specified in the field endpoints or 
      # (=false) create a new pulsar inside the same kubernetes cluster for milvus.
      external: true # Optional default=false
      # The external pulsar endpoints if external=true
      endpoints:
      - 192.168.1.1:6650
  components: {}
  config: {}           

内部Pulsar

inCluster は、Milvusクラスタが起動すると、クラスタ内で自動的にPulsarサービスが起動することを示します。

例

以下の例では、内部Pulsarサービスを構成します。

apiVersion: milvus.io/v1alpha1
kind: Milvus
metadata:
  name: my-release
  labels:
    app: milvus
spec:
  dependencies:
    pulsar:
      inCluster:
        values:
          components:
            autorecovery: false
          zookeeper:
            replicaCount: 1
          bookkeeper:
            replicaCount: 1
            resoureces:
              limit:
                cpu: '4'
              memory: 8Gi
            requests:
              cpu: 200m
              memory: 512Mi
          broker:
            replicaCount: 1
            configData:
              ## Enable `autoSkipNonRecoverableData` since bookkeeper is running
              ## without persistence
              autoSkipNonRecoverableData: "true"
              managedLedgerDefaultEnsembleSize: "1"
              managedLedgerDefaultWriteQuorum: "1"
              managedLedgerDefaultAckQuorum: "1"
          proxy:
            replicaCount: 1
  components: {}
  config: {}            

構成ファイルの名前をmilvuscluster.yaml と仮定し、以下のコマンドを実行して構成を適用します。

kubectl apply -f milvuscluster.yaml

Kafkaの構成

PulsarはMilvusクラスタにおけるデフォルトのメッセージ・ストレージです。Kafkaを使用する場合は、オプションのフィールドmsgStreamType 。

kafka はexternal およびinCluster をサポートしています。

外部Kafka

external は外部Kafkaサービスを使用することを示します。

外部Kafkaサービスの設定に使用されるフィールドは以下のとおりです：

• external:true の値は、Milvusが外部Kafkaサービスを使用していることを示します。
• brokerList:メッセージを送信するブローカーのリスト。

例

以下の例では、外部Kafkaサービスを設定しています。

apiVersion: milvus.io/v1alpha1
kind: Milvus
metadata:
  name: my-release
  labels:
    app: milvus
spec:
  config:
    kafka:
      # securityProtocol supports: PLAINTEXT, SSL, SASL_PLAINTEXT, SASL_SSL 
      securityProtocol: PLAINTEXT
      # saslMechanisms supports: PLAIN, SCRAM-SHA-256, SCRAM-SHA-512
      saslMechanisms: PLAIN
      saslUsername: ""
      saslPassword: ""
  # Omit other fields ...
  dependencies:
    # Omit other fields ...
    msgStreamType: "kafka"
    kafka:
      external: true
      brokerList: 
        - "kafkaBrokerAddr1:9092"
        - "kafkaBrokerAddr2:9092"
        # ...

SASLの設定はoperator v0.8.5以上のバージョンでサポートされています。

内部Kafka

inCluster は、Milvusクラスタが起動すると、クラスタ内でKafkaサービスが自動的に起動することを示します。

例

次の例では、内部Kafkaサービスを設定します。

apiVersion: milvus.io/v1alpha1
kind: Milvus
metadata:
  name: my-release
  labels:
    app: milvus
spec: 
  dependencies:
    msgStreamType: "kafka"
    kafka:
      inCluster: 
        values: {} # values can be found in https://artifacthub.io/packages/helm/bitnami/kafka
  components: {}
  config: {}

内部Kafkaサービスを設定するための完全な設定項目はこちらを参照してください。kafka.inCluster.values の下に、必要に応じて設定項目を追加します。

設定ファイルの名前がmilvuscluster.yaml の場合、次のコマンドを実行して設定を適用します。

kubectl apply -f milvuscluster.yaml

次のステップ

Milvus Operatorを使用して他のMilvus依存関係を設定する方法について説明します：

• Milvus Operatorでオブジェクトストレージを設定する
• Milvus Operatorを使用したMeta Storageの設定