ベッドロックCompatible with Milvus 2.6.x

このトピックでは、MilvusでAmazon Bedrockのエンベッディング機能を設定し、使用する方法について説明します。

埋め込みモデルの選択

MilvusはAmazon Bedrockが提供するエンベッディングモデルをサポートしています。以下は、現在利用可能な埋め込みモデルです：

モデル名	寸法	最大トークン数	説明
amazon.titan-embed-text-v2:0	1,024（デフォルト）、512、256	8,192	RAG、文書検索、リランキング、分類など。

詳細は、Amazon Titan Text Embeddingsのモデルを参照してください。

認証情報の設定

Milvusは、埋め込みをリクエストする前に、Bedrockのアクセス認証情報を知っておく必要があります。Milvusは認証情報を設定するために2つの方法を提供します：

• 設定ファイル（推奨）：設定ファイル（推奨）:milvus.yaml にクレデンシャルを保存し、再起動やノードが自動的に取得するようにします。

• 環境変数：Docker Composeに最適です。

コンフィギュレーションファイルはベアメタルやVMでメンテナンスしやすく、環境変数はコンテナのワークフローに適している。

オプション 1: 設定ファイル (推奨 & 優先度高)

milvus.yamlMilvusは起動時に認証情報を読み込み、同じプロバイダの環境変数を上書きします。

1. **の下でクレデンシャルを宣言してください。credential:

   クレデンシャルは1つでも多くてもかまいません。それぞれのクレデンシャルには、あなたが考案し、後で参照するラベルを付けてください。

   # milvus.yaml
   credential:
     aksk_dev:            # dev environment
       access_key_id: <YOUR_DEV_ACCESS_KEY_ID>
       secret_access_key: <YOUR_DEV_SECRET_ACCESS_KEY>
     aksk_prod:           # production environment
       access_key_id: <YOUR_PROD_ACCESS_KEY_ID>    
       secret_access_key: <YOUR_PROD_SECRET_ACCESS_KEY>
   

   ここにクレデンシャルを記述することで、再起動後もクレデンシャルを持続させ、ラベルを変更するだけでクレデンシャルを切り替えることができます。

2. Milvusにサービスコールに使用するクレデンシャルを指示する。

   同じファイルで、Bedrockプロバイダーに使用させたいラベルを指定します。

   function:
     textEmbedding:
       providers:
         bedrock:
           credential: aksk_dev      # ← choose any label you defined above
   

   これにより、MilvusがBedrockエンベッディング・サービスに送信するすべてのリクエストに特定のクレデンシャルがバインドされます。

オプション2：環境変数

Docker ComposeでMilvusを実行し、ファイルやイメージから秘密を守りたい場合は、この方法を使用してください。

Milvusは、milvus.yaml にプロバイダのクレデンシャルが見つからない場合のみ、環境変数にフォールバックします。

変数	必須	説明
MILVUSAI_BEDROCK_ACCESS_KEY_ID	はい	Bedrock サービスの認証に使用する AWS アクセスキー ID。
MILVUSAI_BEDROCK_SECRET_ACCESS_KEY	はい	アクセスキー ID に対応する AWS シークレットアクセスキー。

docker-compose.yamlファイルで、MILVUSAI_OPENAI_API_KEY 環境変数を設定します。

# docker-compose.yaml (standalone service section)
standalone:
  # ... other configurations ...
  environment:
    # ... other environment variables ...
    # Set the environment variable pointing to the Bedrock embedding service inside the container
    MILVUSAI_BEDROCK_ACCESS_KEY_ID: <MILVUSAI_BEDROCK_ACCESS_KEY_ID>
    MILVUSAI_BEDROCK_SECRET_ACCESS_KEY: <MILVUSAI_BEDROCK_SECRET_ACCESS_KEY>

environment: ブロックは、Milvus コンテナにのみキーを注入し、ホスト OS はそのままにしておきます。詳細については、Docker Composeを使用したMilvusの設定を参照してください。

埋め込み関数の使用

認証情報の設定が完了したら、以下の手順で埋め込み関数を定義し、使用します。

ステップ1: スキーマフィールドの定義

埋め込み関数を使用するには、特定のスキーマを持つコレクションを作成します。このスキーマには、少なくとも3つの必要なフィールドが含まれていなければなりません：

• コレクション内の各エンティティを一意に識別するプライマリフィールド。

• 埋め込む生データを格納するスカラーフィールド。

• スカラー・フィールドに対して関数が生成するベクトル埋め込みを格納するために予約されたベクトル・フィールド。

次の例では、テキストデータを格納するためのスカラーフィールド"document" と、Functionモジュールによって生成される埋め込みデータを格納するためのベクトルフィールド"dense" を持つスキーマを定義しています。ベクトル次元(dim)は、選択した埋め込みモデルの出力に合うように設定することを忘れないでください。

from pymilvus import MilvusClient, DataType, Function, FunctionType

# Initialize Milvus client
client = MilvusClient(
    uri="http://localhost:19530",
)

# Create a new schema for the collection
schema = client.create_schema()

# Add primary field "id"
schema.add_field("id", DataType.INT64, is_primary=True, auto_id=False)

# Add scalar field "document" for storing textual data
schema.add_field("document", DataType.VARCHAR, max_length=9000)

# Add vector field "dense" for storing embeddings.
# IMPORTANT: Set dim to match the exact output dimension of the embedding model.
schema.add_field("dense", DataType.FLOAT_VECTOR, dim=1024)

ステップ 2: スキーマへの関数の追加

MilvusのFunctionモジュールは、スカラーフィールドに格納された生データを自動的に埋め込みデータに変換し、明示的に定義されたベクトルフィールドに格納します。

下の例では、スカラーフィールド"document" をエンベッディングに変換し、結果のベクトルを先に定義した"dense" ベクトルフィールドに格納する Function モジュール (bedrk) を追加しています。

埋め込み関数を定義したら、コレクションスキーマに追加します。これにより、Milvusは指定された埋め込み関数を使用して、テキストデータの埋め込みを処理し、格納するようになります。

# Define embedding function specifically for OpenAI provider
text_embedding_function = Function(
    name="bedrk",                                   # Unique identifier for this embedding function
    function_type=FunctionType.TEXTEMBEDDING,       # Indicates a text embedding function
    input_field_names=["document"],                 # Scalar field(s) containing text data to embed
    output_field_names=["dense"],                   # Vector field(s) for storing embeddings
    params={                                      # Provider-specific embedding parameters (function-level)
        "provider": "bedrock",                      # Must be set to "bedrock"
        "model_name": "amazon.titan-embed-text-v2:0",    # Specifies the embedding model to use
        "region": "us-east-2",                           # Required: AWS region where the Bedrock service is hosted     
        # Optional parameters:
        # "credential": "aksk_dev",               # Optional: Credential label specified in milvus.yaml
        # "dim": "1024",                          # Output dimension of the vector embeddings after truncation
        # "normalize": "true",                    # Whether to normalize the output embeddings
    }
)

# Add the configured embedding function to your existing collection schema
schema.add_function(text_embedding_function)

次のステップ

埋め込み関数を設定した後、インデックス設定、データ挿入例、セマンティック検索操作に関する追加ガイダンスについては、「関数の概要」を参照してください。