OpenAICompatible with Milvus 2.6.x

Verwenden Sie ein OpenAI Einbettungsmodell mit Milvus, indem Sie ein Modell auswählen und Milvus mit Ihrem OpenAI API Schlüssel konfigurieren.

Wählen Sie ein Einbettungsmodell

Milvus unterstützt alle Einbettungsmodelle, die von OpenAI angeboten werden. Nachfolgend finden Sie die derzeit verfügbaren OpenAI-Einbettungsmodelle zur schnellen Orientierung:

Modell Name	Abmessungen	Max. Token	Beschreibung
text-einbettung-3-klein	Standard: 1.536 (kann auf eine Größe unter 1.536 gekürzt werden)	8,191	Ideal für kostenbewusste und skalierbare semantische Suche - bietet starke Leistung zu einem niedrigeren Preis.
text-einbettung-3-groß	Standard: 3.072 (kann auf eine Dimensionsgröße unter 3.072 gekürzt werden)	8,191	Am besten geeignet für Anwendungen, die eine höhere Abrufgenauigkeit und umfangreichere semantische Darstellungen erfordern.
text-einbettung-ada-002	Festgelegt: 1,536 (kann nicht gekürzt werden)	8,191	Ein Modell der vorherigen Generation, das sich für ältere Pipelines oder Szenarien eignet, die Abwärtskompatibilität erfordern.

Die Einbettungsmodelle der dritten Generation(text-embedding-3) unterstützen die Reduzierung der Größe der Einbettung über einen dim Parameter. In der Regel sind größere Einbettungen aus Sicht der Rechenleistung, des Speichers und der Speicherung teurer. Die Möglichkeit, die Anzahl der Dimensionen anzupassen, ermöglicht eine bessere Kontrolle über die Gesamtkosten und die Leistung. Weitere Einzelheiten zu den einzelnen Modellen finden Sie im Blogbeitrag Einbettungsmodelle und OpenAI-Ankündigung.

Anmeldeinformationen konfigurieren

Milvus muss Ihren OpenAI-API-Schlüssel kennen, bevor es Einbettungen anfordern kann. Milvus bietet zwei Methoden zur Konfiguration von Anmeldeinformationen:

• Konfigurationsdatei (empfohlen): Speichern Sie den API-Schlüssel in milvus.yaml, damit er bei jedem Neustart und Knoten automatisch übernommen wird.

• Umgebungsvariablen: Injizieren Sie den Schlüssel zum Zeitpunkt der Bereitstellung - ideal für Docker Compose.

Entscheiden Sie sich für eine der beiden Methoden: Die Konfigurationsdatei ist auf Bare-Metal- und VM-Systemen einfacher zu verwalten, während die Umgebungsvariablen-Route für Container-Workflows geeignet ist.

Option 1: Konfigurationsdatei (empfohlen & höhere Priorität)

Bewahren Sie Ihre API-Schlüssel in milvus.yaml auf; Milvus liest sie beim Start und setzt jede Umgebungsvariable für denselben Anbieter außer Kraft.

1. **Deklarieren Sie Ihre Schlüssel unter credential:

   Sie können einen oder mehrere API-Schlüssel auflisten - geben Sie jedem einen Namen, den Sie erfinden und später referenzieren werden.

   # milvus.yaml
   credential:
     apikey_dev:            # dev environment
       apikey: <YOUR_DEV_KEY>
     apikey_prod:           # production environment
       apikey: <YOUR_PROD_KEY>    
   

   Wenn Sie die API-Schlüssel hier angeben, bleiben sie über Neustarts hinweg bestehen und Sie können die Schlüssel einfach durch Ändern einer Bezeichnung wechseln.

2. Sagen Sie Milvus, welchen Schlüssel es für OpenAI-Aufrufe verwenden soll

   In derselben Datei weisen Sie dem OpenAI-Anbieter das Label zu, das er verwenden soll.

   function:
     textEmbedding:
       providers:
         openai:
           credential: apikey_dev      # ← choose any label you defined above
           # url: https://api.openai.com/v1/embeddings   # (optional) custom url
   

   Dies bindet einen bestimmten Schlüssel an jede Anfrage, die Milvus an den OpenAI-Embedding-Endpunkt sendet.

Option 2: Umgebungsvariable

Verwenden Sie diese Methode, wenn Sie Milvus mit Docker Compose betreiben und es vorziehen, Geheimnisse aus Dateien und Images herauszuhalten.

Milvus greift nur dann auf die Umgebungsvariable zurück, wenn unter milvus.yaml kein Schlüssel für den Provider gefunden wird.

Variable	Erforderlich	Beschreibung
MILVUSAI_OPENAI_API_KEY	Ja	Macht den OpenAI-Schlüssel in jedem Milvus-Container verfügbar (wird ignoriert, wenn ein Schlüssel für OpenAI in milvus.yaml existiert)

Setzen Sie in Ihrer Datei docker-compose.yaml die Umgebungsvariable MILVUSAI_OPENAI_API_KEY.

# docker-compose.yaml (standalone service section)
standalone:
  # ... other configurations ...
  environment:
    # ... other environment variables ...
    # Set the environment variable pointing to the OpenAI API key inside the container
    MILVUSAI_OPENAI_API_KEY: <MILVUSAI_OPENAI_API_KEY>

Der Block environment: injiziert den Schlüssel nur in den Milvus-Container und lässt Ihr Host-Betriebssystem unberührt. Weitere Informationen finden Sie unter Konfigurieren von Milvus mit Docker Compose.

Einbettungsfunktion verwenden

Sobald die Anmeldeinformationen konfiguriert sind, folgen Sie diesen Schritten, um Einbettungsfunktionen zu definieren und zu verwenden.

Schritt 1: Definieren Sie Schemafelder

Um eine Einbettungsfunktion zu verwenden, erstellen Sie eine Sammlung mit einem bestimmten Schema. Dieses Schema muss mindestens drei notwendige Felder enthalten:

• Das Primärfeld, das jede Entität in einer Sammlung eindeutig identifiziert.

• Ein Skalarfeld, das die einzubettenden Rohdaten speichert.

• Ein Vektorfeld, das für die Speicherung von Vektoreinbettungen reserviert ist, die die Funktion für das Skalarfeld erzeugen wird.

Das folgende Beispiel definiert ein Schema mit einem Skalarfeld "document" zum Speichern von Textdaten und einem Vektorfeld "dense" zum Speichern von Einbettungen, die vom Funktionsmodul erzeugt werden. Denken Sie daran, die Vektordimension (dim) so einzustellen, dass sie der Ausgabe des von Ihnen gewählten Einbettungsmodells entspricht.

from pymilvus import MilvusClient, DataType, Function, FunctionType

# Initialize Milvus client
client = MilvusClient(
    uri="http://localhost:19530",
)

# Create a new schema for the collection
schema = client.create_schema()

# Add primary field "id"
schema.add_field("id", DataType.INT64, is_primary=True, auto_id=False)

# Add scalar field "document" for storing textual data
schema.add_field("document", DataType.VARCHAR, max_length=9000)

# Add vector field "dense" for storing embeddings.
# IMPORTANT: Set dim to match the exact output dimension of the embedding model.
# For instance, OpenAI's text-embedding-3-small model outputs 1536-dimensional vectors.
schema.add_field("dense", DataType.FLOAT_VECTOR, dim=1536)

Schritt 2: Einbettungsfunktion zum Schema hinzufügen

Das Function-Modul in Milvus wandelt Rohdaten, die in einem Skalarfeld gespeichert sind, automatisch in Einbettungen um und speichert sie in dem explizit definierten Vektorfeld.

Das folgende Beispiel fügt ein Funktionsmodul (openai_embedding) hinzu, das das Skalarfeld "document" in Einbettungen umwandelt und die resultierenden Vektoren in dem zuvor definierten Vektorfeld "dense" speichert.

Sobald Sie Ihre Einbettungsfunktion definiert haben, fügen Sie sie zu Ihrem Sammlungsschema hinzu. Dies weist Milvus an, die angegebene Einbettungsfunktion zu verwenden, um Einbettungen aus Ihren Textdaten zu verarbeiten und zu speichern.

# Define embedding function (example: OpenAI provider)
text_embedding_function = Function(
    name="openai_embedding",                        # Unique identifier for this embedding function
    function_type=FunctionType.TEXTEMBEDDING,       # Type of embedding function
    input_field_names=["document"],                 # Scalar field to embed
    output_field_names=["dense"],                   # Vector field to store embeddings
    params={                                        # Provider-specific configuration (highest priority)
        "provider": "openai",                       # Embedding model provider
        "model_name": "text-embedding-3-small",     # Embedding model
        # Optional parameters:
        # "credential": "apikey_dev",               # Optional: Credential label specified in milvus.yaml
        # "dim": "1536",                            # Optional: Shorten the output vector dimension
        # "user": "user123"                         # Optional: identifier for API tracking
    }
)

# Add the embedding function to your schema
schema.add_function(text_embedding_function)

Nächste Schritte

Nachdem Sie die Einbettungsfunktion konfiguriert haben, finden Sie in der Funktionsübersicht weitere Anleitungen zur Indexkonfiguration, Beispiele für das Einfügen von Daten und semantische Suchvorgänge.