IVF_RABITQ_FASTSCANCompatible with Milvus 3.0.x

IVF_RABITQ_FASTSCAN kombiniert IVF-Partitionierung, RaBitQ-Binärquantisierung und FastScan-Batch-Verarbeitung. Es speichert Ein-Bit-RaBitQ-Codes für Datenbankvektoren und verarbeitet die Codes in SIMD-freundlichen Blöcken von jeweils 32 Datenbankvektoren. Damit eignet es sich besonders für Workloads mit hohem Durchsatz und begrenzten Speicherkapazitäten, bei denen annähernde Ergebnisse akzeptabel sind.

Wählen Sie „ IVF_RABITQ_FASTSCAN “ anstelle von „IVF_RABITQ“, wenn bei Suchvorgängen viele Kandidaten durchgesucht werden und der Durchsatz das vorrangige Ziel ist. Die Einrichtungskosten pro Abfrage bei FastScan werden über die gepackten Codeblöcke verteilt, sodass es in der Regel für große Datensätze oder lange IVF-Listen vorteilhafter ist. Für kleine Sammlungen oder Suchvorgänge, bei denen nur wenige Kandidaten geprüft werden, sollten Sie stattdessen „ IVF_RABITQ “ verwenden. Es unterstützt zudem konfigurierbare Abfragequantisierung, weitere Verfeinerungstypen und Iteratoren.

So funktioniert es

IVF_RABITQ_FASTSCAN Es werden die folgenden Phasen durchlaufen:

  1. IVF-Partitionierung: IVF gruppiert Vektoren in „ nlist “-Cluster und durchsucht die am nächsten liegenden Cluster von „ nprobe “.
  2. RaBitQ-Kodierung: Jeder Vektorresidualwert wird als RaBitQ-Code mit einem Bit pro Dimension kodiert.
  3. FastScan: Der Index bündelt Codes für eine cachefreundliche SIMD-Batch-Verarbeitung. Er wertet in jedem Batch 32 Datenbankvektoren aus.
  4. Optionale Verfeinerung: Wenn diese Option aktiviert ist, bewertet ein FP32-Refiner die Kandidaten neu, bevor Milvus die endgültigen Ergebnisse zurückgibt.

Der zugrunde liegende Faiss-Index ist IndexIVFRaBitQFastScan. Knowhere umhüllt ihn mit einer zufälligen Rotationstransformation und fügt optional einen FP32-Verfeinerer hinzu.

FastScan führt vor dem Scannen der gepackten Codeblöcke Vorbereitungsarbeiten pro Abfrage durch, wie beispielsweise das Erstellen und Quantisieren abfragebezogener Nachschlagetabellen. Führen Sie Benchmarks sowohl für IVF_RABITQ als auch für IVF_RABITQ_FASTSCAN mit Ihren Daten und Suchparametern durch.

Index erstellen

Um einen „ IVF_RABITQ_FASTSCAN “-Index für ein Vektorfeld in Milvus zu erstellen, verwenden Sie die Methode „ add_index() “ und geben Sie dabei „ index_type “, „ metric_type “ sowie weitere Parameter für den Index an.

from pymilvus import MilvusClient

# Prepare index building params
index_params = MilvusClient.prepare_index_params()

index_params.add_index(
    field_name="your_vector_field_name", # Name of the vector field to be indexed
    index_type="IVF_RABITQ_FASTSCAN", # Type of the index to create
    index_name="vector_index", # Name of the index to create
    metric_type="L2", # Metric type used to measure similarity
    params={
        "nlist": 1024, # Number of clusters for the index
        "refine": True, # Enable refinement for higher recall
        "refine_type": "FP32" # Refinement data format
    } # Index building params
)

In dieser Konfiguration:

  • index_type: Der Typ des zu erstellenden Index. Setzen Sie den Wert in diesem Beispiel auf „ IVF_RABITQ_FASTSCAN “.

  • metric_type: Die Methode zur Berechnung des Abstands zwischen Vektoren. Zu den unterstützten Werten gehören „ COSINE “, „ L2 “ und „ IP “. Weitere Informationen finden Sie unter „Metriktypen“.

  • params: Zusätzliche Konfigurationsoptionen für die Indexerstellung. Weitere Informationen finden Sie unter „Parameter für die Indexerstellung“.

Sobald die Indexparameter konfiguriert sind, können Sie den Index erstellen, indem Sie die Methode „ create_index() “ direkt aufrufen oder die Indexparameter an die Methode „ create_collection “ übergeben. Weitere Informationen finden Sie unter „Sammlung erstellen“.

Suche im Index

Sobald der Index erstellt und Entitäten eingefügt wurden, können Sie Ähnlichkeitssuchen im Index durchführen.

Legen Sie „ nprobe “ fest, um zu steuern, wie viele IVF-Cluster durchsucht werden. Wenn der Index mit Verfeinerung erstellt wurde, verwenden Sie „ refine_k “, um den an den FP32-Refiner übergebenen Kandidatenpool zu steuern.

client = MilvusClient(uri="http://localhost:19530") # Replace with your Milvus server address

search_params = {
    "params": {
        "nprobe": 128, # Number of clusters to search
        "refine_k": 2 # Refinement magnification factor
    }
}

res = client.search(
    collection_name="your_collection_name", # Collection name
    anns_field="your_vector_field_name", # Vector field name
    data=[[0.1, 0.2, 0.3, 0.4, 0.5]], # Query vector
    limit=3, # TopK results to return
    search_params=search_params
)

In dieser Konfiguration:

Im Gegensatz zu „ IVF_RABITQ “ akzeptiert „ IVF_RABITQ_FASTSCAN “ den Suchparameter „ rbq_bits_query “ nicht. FastScan verwendet intern immer eine 8-Bit-Abfragequantisierung, lassen Sie daher „ rbq_bits_query “ weg oder setzen Sie den Wert auf „ 0 “; größere Werte werden abgelehnt.

Indexparameter

Dieser Abschnitt bietet einen Überblick über die Parameter, die zum Erstellen eines Indexes und zur Durchführung von Suchvorgängen im Index verwendet werden.

Parameter zum Erstellen eines Index

Die folgende Tabelle listet die Parameter auf, die in „ params “ beim Erstellen eines Indexes konfiguriert werden können.

Parameter

Beschreibung

Wertebereich

Optimierungsvorschlag

IVF

nlist

Die Anzahl der Cluster, die während der Indexerstellung mithilfe des k-Means-Algorithmus erstellt werden sollen. Jeder Cluster, der durch einen Schwerpunkt repräsentiert wird, speichert eine Liste von Vektoren. Durch Erhöhen dieses Parameters wird die Anzahl der Vektoren in jedem Cluster verringert, wodurch kleinere, gezieltere Partitionen entstehen.

Typ: Ganzzahl
Bereich: [1, 65536]
Standardwert: 128

Größere Werte für „ nlist “ verbessern den Recall durch die Bildung feinerer Cluster, verlängern jedoch die Indexerstellungszeit. Optimieren Sie den Wert entsprechend der Datensatzgröße und den verfügbaren Ressourcen. In den meisten Fällen empfehlen wir, einen Wert innerhalb dieses Bereichs festzulegen: [32, 4096].

RaBitQ

refine

Aktiviert den Verfeinerungsprozess und speichert die verfeinerten Daten. „ IVF_RABITQ_FASTSCAN “ unterstützt ausschließlich die Verfeinerung im FP32-Format.

Typ: Boolesch
Bereich: [true, false]
Standardwert: false

Setzen Sie den Wert auf „ true “, wenn eine Recall-Rate von 0,9+ erforderlich ist. Die Aktivierung der Verfeinerung verbessert die Genauigkeit, erhöht jedoch den Speicherbedarf und die Dauer der Indexerstellung.

refine_type

Definiert die Datendarstellung, die für die Verfeinerung verwendet wird, wenn „ refine “ aktiviert ist. Nur erforderlich, wenn „ refine “ auf „ true “ gesetzt ist.

Typ: Zeichenfolge
Bereich: [FP32, FLAT]
Standardwert: Keiner

IVF_RABITQ_FASTSCAN unterstützt ausschließlich die Verfeinerung nach FP32, und „ FLAT “ ist identisch mit „ FP32 “. Bei der Wertübereinstimmung wird die Groß-/Kleinschreibung nicht berücksichtigt.

Indexspezifische Suchparameter

Die folgende Tabelle listet die Parameter auf, die bei der Suche im Index unter search_params.params konfiguriert werden können.

Parameter

Beschreibung

Wertebereich

Optimierungsvorschlag

IVF

nprobe

Die Anzahl der Cluster, in denen nach Kandidaten gesucht werden soll. Höhere Werte ermöglichen die Suche in mehr Clustern, was den Recall durch Erweiterung des Suchbereichs verbessert, jedoch auf Kosten einer erhöhten Abfragelatenz geht.

Typ: Ganzzahl
Bereich: [1, nlist]
Standardwert: 8

Eine Erhöhung dieses Werts verbessert den Recall, kann jedoch die Suche verlangsamen. Stellen Sie „ nprobe “ proportional zu „ nlist “ ein, um Geschwindigkeit und Genauigkeit in Einklang zu bringen. In den meisten Fällen empfehlen wir, einen Wert innerhalb dieses Bereichs festzulegen: [1, nlist].

RaBitQ

refine_k

Der Verfeinerungsprozess nutzt eine qualitativ hochwertigere Quantisierung, um die benötigte Anzahl nächstgelegener Nachbarn aus einem refine_k -mal größeren Pool von Kandidaten auszuwählen, die mit IVF_RABITQ_FASTSCAN ermittelt wurden. Hat keine Auswirkung, wenn die Verfeinerung deaktiviert ist.

Typ: Float
Bereich: [1, float_max)
Standardwert: 1

Höhere Werte für „ refine_k “ verringern die QPS, erhöhen jedoch die Recall-Rate. Beginnen Sie mit „ 1 “ und testen Sie die Werte „ 2 “, „ 3 “, „ 4 “ und „ 5 “, um den optimalen Kompromiss zwischen QPS und Recall für Ihren Datensatz zu finden.

rbq_bits_query

Legt fest, ob eine zusätzliche skalare Quantisierung eines Abfragevektors angewendet wird. Wird bei „ IVF_RABITQ_FASTSCAN “ nicht unterstützt: Der Index verwendet intern immer eine 8-Bit-Abfragequantisierung. Lassen Sie diesen Parameter weg oder setzen Sie ihn auf „ 0 “; Werte größer als „ 0 “ werden abgelehnt.

Typ: Ganzzahl
Bereich: [0, 0]
Standardwert: 0

Nicht festlegen. Verwenden Sie für eine konfigurierbare Abfragequantisierung stattdessen IVF_RABITQ.

Einschränkungen

  • FastScan verwendet eine feste 1-Bit-RaBitQ-Datenbankkodierung und eine 8-Bit-Abfragequantisierung. „ rbq_bits_query “ muss weggelassen oder auf „ 0 “ gesetzt werden.
  • Es wird nur eine Verfeinerung nach FP32 (entspricht „ FLAT “) unterstützt.
  • Iteratoren werden nicht unterstützt.
  • Dies ist ein CPU-Index. Er läuft nicht auf der GPU.
  • Die tatsächliche Leistung hängt von der SIMD-Unterstützung der CPU, der Vektordimension, nlist, nprobe sowie der Datenverteilung ab. Führen Sie vor der Bereitstellung in der Produktion einen Benchmark mit Ihrer Arbeitslast durch.

Informationen zur RaBitQ-Variante ohne FastScan und deren zusätzlichen Verfeinerungsoptionen finden Sie unter IVF_RABITQ.

Übersetzt vonDeepL

Verwaltetes Milvus kostenlos testen

Zilliz Cloud ist unkompliziert, basiert auf Milvus und ist 10-mal schneller.

Loslegen
Feedback

War diese Seite hilfreich?