BGE

MilvusはBGERerankFunction クラスを通してBGEリランカーモデルをサポートしています。この機能により、クエリとドキュメントのペアの関連性を効果的にスコアリングすることができます。

この機能を使用するには、必要な依存関係をインストールします：

pip install --upgrade pymilvus
pip install "pymilvus[model]"

次にBGERerankFunction をインスタンス化します：

from pymilvus.model.reranker import BGERerankFunction

# Define the rerank function
bge_rf = BGERerankFunction(
    model_name="BAAI/bge-reranker-v2-m3",  # Specify the model name. Defaults to `BAAI/bge-reranker-v2-m3`.
    device="cpu" # Specify the device to use, e.g., 'cpu' or 'cuda:0'
)

パラメータ

• model_name (文字列)

  使用するモデルの名前。利用可能なBGEリランカーのモデル名、例えばBAAI/bge-reranker-base 、BAAI/bge-reranker-large 、などを指定できます。このパラメータを未指定のままにすると、BAAI/bge-reranker-v2-m3 が使用されます。利用可能なモデルのリストについては、モデルリストを参照してください。

• device (文字列)

  オプション。モデルの実行に使用するデバイス。指定しない場合、モデルはCPU上で実行されます。CPUにはcpu 、n番目のGPUデバイスにはcuda:n を指定できます。

次に、以下のコードを使用して、クエリに基づいて文書を再ランクします：

query = "What event in 1956 marked the official birth of artificial intelligence as a discipline?"

documents = [
    "In 1950, Alan Turing published his seminal paper, 'Computing Machinery and Intelligence,' proposing the Turing Test as a criterion of intelligence, a foundational concept in the philosophy and development of artificial intelligence.",
    "The Dartmouth Conference in 1956 is considered the birthplace of artificial intelligence as a field; here, John McCarthy and others coined the term 'artificial intelligence' and laid out its basic goals.",
    "In 1951, British mathematician and computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI in game strategy.",
    "The invention of the Logic Theorist by Allen Newell, Herbert A. Simon, and Cliff Shaw in 1955 marked the creation of the first true AI program, which was capable of solving logic problems, akin to proving mathematical theorems."
]

results = bge_rf(
    query=query,
    documents=documents,
    top_k=3,
)

for result in results:
    print(f"Index: {result.index}")
    print(f"Score: {result.score:.6f}")
    print(f"Text: {result.text}\n")

期待される出力は以下のようなものです：

Index: 1
Score: 0.991162
Text: The Dartmouth Conference in 1956 is considered the birthplace of artificial intelligence as a field; here, John McCarthy and others coined the term 'artificial intelligence' and laid out its basic goals.

Index: 0
Score: 0.032697
Text: In 1950, Alan Turing published his seminal paper, 'Computing Machinery and Intelligence,' proposing the Turing Test as a criterion of intelligence, a foundational concept in the philosophy and development of artificial intelligence.

Index: 3
Score: 0.006515
Text: The invention of the Logic Theorist by Allen Newell, Herbert A. Simon, and Cliff Shaw in 1955 marked the creation of the first true AI program, which was capable of solving logic problems, akin to proving mathematical theorems.