Milvusシステム構成チェックリスト
このトピックでは、Milvusのシステムコンフィギュレーションの一般的なセクションを紹介します。
Milvusにはシステムを構成するためのパラメータが多数用意されています。各設定にはデフォルト値があり、そのまま使用することができます。これらのパラメータを柔軟に変更することで、Milvusがお客様のアプリケーションにより良く対応できるようになります。詳しくはMilvusの設定を参照してください。
セクション
メンテナンスの便宜のため、Milvusはコンポーネント、依存関係、および一般的な使用方法に基づいて設定を%sセクションに分類しています。
etcd
Milvusのメタデータとサービスディスカバリの保存に使用されるetcdの関連設定。
このセクションの各パラメータの詳細については、「etcd関連設定」を参照してください。
metastore
このセクションの各パラメータの詳細については、メタストア関連設定を参照してください。
tikv
Milvusメタデータの保存に使用されるtikvの関連設定。
メタストアとしてTiKVを有効にした場合でも、サービスディスカバリのためにetcdが必要であることに注意してください。
TiKVはメタデータのサイズが水平方向のスケーラビリティを必要とする場合に有効なオプションである。
このセクションの各パラメータの詳細については、tikv関連の設定を参照してください。
localStorage
このセクションの各パラメータの詳細については、localStorage関連の設定を参照。
minio
MinIO/S3/GCSまたはその他のサービスの関連設定は、Milvusのデータ永続化を担うS3 APIをサポートする。
以下の説明では簡単のため、ストレージサービスを MinIO/S3 と呼ぶ。
このセクションの各パラメータの詳細については、「Minio関連設定」を参照してください。
mq
Milvusはrocksmq(RockDBベース)、natsmq(組み込みnats-server)、Pulsar、Kafkaの4つのMQをサポートしています。
mq.typeフィールドを設定することでMQを変更することができます。
mq.typeフィールドをデフォルトに設定しない場合は、このファイルに複数のmqを設定する場合の優先順位の有効化に関する注意書きがあります。
スタンドアロン(ローカル)モード: rocksmq(デフォルト) > natsmq > Pulsar > Kafka
クラスタモード: Pulsar(デフォルト) > Kafka (rocksmqとnatsmqはクラスタ・モードではサポートされていません)
このセクションの各パラメータの詳細については、mq関連設定を参照してください。
pulsar
最近の突然変異操作のMilvusログを管理し、ストリーミング・ログを出力し、ログ・パブリッシュ・サブスクライブ・サービスを提供するために使用されるpulsarの関連設定。
このセクションの各パラメータの詳細については、pulsar関連設定を参照してください。
rocksmq
kafkaを有効にしたい場合は、pulsarコンフィギュレーションにコメントを付ける必要があります。
kafka:
brokerList:
saslUsername:
saslPassword:
saslMechanisms
securityProtocol:
ssl:
enabled: false # whether to enable ssl mode
tlsCert: # path to client's public key (PEM) used for authentication
tlsKey: # path to client's private key (PEM) used for authentication
tlsCaCert: # file or directory path to CA certificate(s) for verifying the broker's key
tlsKeyPassword: # private key passphrase for use with ssl.key.location and set_ssl_cert(), if any
readTimeout:10
このセクションの各パラメータの詳細については、rocksmq関連の設定を参照。
natsmq
natsmqの設定。
詳細: https://docs.nats.io/running-a-nats-service/configuration
このセクションの各パラメータの詳細については、natsmq関連設定を参照のこと。
rootCoord
データ定義言語(DDL)およびデータ制御言語(DCL)リクエストの処理に使用される rootCoordの関連設定。
このセクションの各パラメータの詳細については、「rootCoord 関連設定」を参照してください。
proxy
プロキシ関連設定 クライアントリクエストを検証し、返される結果を削減するために使用されます。
このセクションの各パラメータの詳細については、プロキシ関連の設定 を参照のこと。
queryCoord
queryCoordの関連設定。クエリノードのトポロジーと負荷分散を管理し、成長しているセグメントからシールされたセグメントへのハンドオフに使用される。
このセクションの各パラメータの詳細については、queryCoord関連設定を参照してください。
queryNode
queryNodeの関連設定。ベクトルデータとスカラーデータのハイブリッド検索を実行するために使用される。
このセクションの各パラメータの詳細については、queryNode 関連設定を参照のこと。
indexCoord
この節の各パラメータの詳細な説明はindexCoord 関連設定を参照のこと。
indexNode
この節の各パラメータの詳細については、indexNode 関連設定を参照のこと。
dataCoord
この節の各パラメータに関する詳細な説明は、dataCoord 関連設定を参照のこと。
dataNode
この節の各パラメータの詳細については、「dataNode 関連コンフィギュレーション」を 参照してください。
msgChannel
Milvusのメッセージチャネル関連の設定について説明します。
このセクションの各パラメータの詳細については、「msgChannel関連設定」を参照してください。
log
システムログ出力の設定を行います。
このセクションの各パラメータの詳細については、「ログ関連設定」を参照してください。
grpc
このセクションの各パラメータの詳細については、grpc 関連の設定を参照してください。
tls
プロキシ tls enable を設定します。
このセクションの各パラメータの詳細については、tls 関連の設定を参照してください。
common
この節の各パラメータの詳細については、共通関連の設定を参照のこと。
quotaAndLimits
QuotaConfig、Milvusのクォータとリミットの設定。
デフォルトでは
TT保護;
メモリ保護.
ディスククォータ保護.
有効にすることができます:
DMLスループット制限;
DDL、DQL qps/rps制限;
DQLキュー長/待ち時間の保護;
DQL結果レートの保護;
必要に応じて、手動でRW要求を強制的に拒否することもできます。
このセクションの各パラメータの詳細については、quotaAndLimits関連の設定を参照してください。
trace
このセクションの各パラメータの詳細については、トレース関連の設定を参照してください。
gpu
#GPUインデックスを使用する場合、Milvusはメモリプールを利用し、頻繁なメモリの割り当てと解放を回避します。
#ここで, メモリプールが占有するメモリサイズをMB単位で設定できます.
#実際のメモリ需要がmaxMemSizeで設定した値を超えると、Milvusがクラッシュする可能性があることに注意してください。
#initMemSizeとMaxMemSizeの両方が0に設定されている場合、
#milvusは利用可能なGPUメモリの半分を自動的に初期化します、
#maxMemSizeは利用可能なGPUメモリ全体を初期化します。
このセクションの各パラメータの詳細については、gpu関連の設定を参照してください。