milvus-logo
LFAI
フロントページへ
  • Milvus移住

Milvus 2.3.x から

このガイドでは、Milvus 2.3.xからMilvus 2.3.x以上へデータを移行するための包括的なステップバイステップのプロセスを提供します。

前提条件

  • ソフトウェアのバージョン
    • ソースMilvus: 2.3.0+ (本ツールはイテレータを使用してソースコレクションデータを取得するため、ソースMilvusのバージョンは2.3.0以上である必要があります)
    • ターゲットMilvus: 2.3.0+.
  • 必要なツール
  • データの準備
    • 移行元のMilvusコレクションがロードされ、データエクスポートの準備ができていることを確認する。
    • ターゲットMilvusにソースコレクションに対応するコレクションがない場合、milvus-migrationtoolが自動的に作成します。マイグレーション後、ターゲットコレクションにはインデックスが作成されないので、その後手動でインデックスを作成する必要があることに注意してください。

マイグレーションファイルの設定

マイグレーション設定ファイルの例をmigration.yaml として保存し、実際の条件に基づいて設定を変更します。設定ファイルを任意のローカルディレクトリに置くことは自由です。

dumper:
  worker:
    workMode: milvus2x
    reader:
      bufferSize: 500

meta:
  mode: config
  version: 2.3.0
  collection: src_table_name

source:
  milvus2x:
    endpoint: {milvus2x_domain}:{milvus2x_port}
    username: xxxx
    password: xxxxx

target:
  milvus2x:
    endpoint: {milvus2x_domain}:{milvus2x_port}
    username: xxxx
    password: xxxxx

次の表は、例のconfigファイルのパラメータを説明したものです。詳細はMilvus Migrationを参照してください:Milvus2.xからMilvus2.xへの移行」を参照してください。

  • dumper

    パラメータ説明
    dumper.worker.workMode移行ジョブの動作モード。Milvus 2.x からマイグレーションする場合は milvus2x に設定します。
    dumper.worker.reader.bufferSize各バッチでMilvus 2.xから読み込むバッファサイズ。
  • meta

    パラメータ説明
    meta.modeメタ・ファイルの読み込み元を指定します。configに設定すると、このmigration.yamlファイルからメタ設定を取得できることを示します。
    meta.versionソースMilvusバージョン。2.3.0以上に設定します。
    meta.collectionソース コレクション名。
  • source

    パラメータ説明
    source.milvus2x.endpointソースMilvusサーバのアドレス。
    source.milvus2x.usernameソースMilvusサーバのユーザ名。このパラメータは、Milvusサーバでユーザ認証が有効になっている場合に必要です。詳細については、認証の有効化を参照してください。
    source.milvus2x.passwordソース Milvus サーバのパスワード。このパラメータはMilvusサーバでユーザ認証が有効になっている場合に必要です。詳細については、「認証の有効化」を参照してください。
  • target

    パラメータ説明
    target.milvus2x.endpointターゲットMilvusサーバのアドレス.
    target.milvus2x.usernameターゲット Milvus サーバのユーザ名。このパラメータはMilvusサーバでユーザ認証が有効になっている場合に必要です。詳細については、認証の有効化を参照してください。
    target.milvus2x.passwordターゲットMilvusサーバのパスワード。このパラメータはMilvusサーバでユーザ認証が有効になっている場合に必要です。詳細については、「認証の有効化」を参照してください。

移行タスクの開始

移行タスクを開始するには、CLIを使用するか、APIリクエストを行うかの2つのオプションがあります。ニーズに合わせて選択してください。

オプション1: CLIを使用する

次のコマンドで移行タスクを開始します。{YourConfigFilePath} を、設定ファイルmigration.yaml が存在するローカルディレクトリに置き換えます。

./milvus-migration start --config=/{YourConfigFilePath}/migration.yaml

ログを監視して進行状況を確認します。移行に成功したログには、次のようなエントリが含まれているはずです:

[INFO] [migration/milvus2x_starter.go:79] ["=================>JobProcess!"] [Percent=100]
[INFO] [migration/milvus2x_starter.go:27] ["[Starter] migration Milvus2x to Milvus2x finish!!!"] [Cost=94.877717375]
[INFO] [starter/starter.go:109] ["[Starter] Migration Success!"] [Cost=94.878243583]

オプション2:APIリクエストを行う

Restful APIを使ってマイグレーションを実行することもできる。でAPIサーバーを起動する:

./milvus-migration server run -p 8080

サーバーが正常に起動したら、migration.yaml ファイルをプロジェクトのconfigs/ ディレクトリに配置し、マイグレーションを開始します:

curl -XPOST http://localhost:8080/api/v1/start

結果を検証する

移行タスクが完了したら、Attu を使用して移行したエンティティの数を表示します。さらに、Attuでインデックスを作成し、コレクションをロードすることができます。詳細については、Attuおよびget_collection_stats() を参照してください。

追加設定オプション

上記の基本設定に加えて、特定の要件に基づいて追加設定を追加することもできます。

  • 選択的フィールド移行:コレクション内のすべてのフィールドではなく、特定のフィールドのみを移行する必要がある場合は、migration.yaml ファイルのmeta セクションで移行するフィールドを指定します。

    meta:
      fields:
        - name: id
        - name: title_vector
        - name: reading_time
    
  • カスタム・ターゲット・コレクション:ターゲットコレクションのプロパティをカスタマイズするには、migration.yaml ファイルのmeta セクションに関連する構成を追加します。

    meta:
      milvus:
        collection: target_collection_name
        shardNum: 2
        closeDynamicField: false
        consistencyLevel: Customized
    

詳細については、Milvus Migrationを参照してください:Milvus2.xからMilvus2.xへの移行を参照してください。

翻訳DeepL

Try Managed Milvus for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
フィードバック

このページは役に立ちましたか ?