HNSW_PQ

HNSW_PQ利用 Hierarchical Navigable Small World (HNSW) 圖形與 Product Quantization (PQ)，創造出先進的向量索引方法，提供可控制的大小與精確度權衡。與HNSW_SQ 相比，此索引類型在相同的壓縮層級下提供更高的召回率，儘管查詢處理速度較低且索引建置時間較長。

概觀

HNSW_PQ 結合了兩種索引技術：HNSW用於基於圖表的快速導覽，而PQ則用於有效率的向量壓縮。

HNSW

HNSW 會建構一個多層圖表，其中每個節點對應資料集中的向量。在這個圖形中，節點是根據其相似性連接起來的，因此可以快速遍歷資料空間。層級結構可讓搜尋演算法縮小候選鄰近點的範圍，大幅加速高維空間的搜尋過程。

如需詳細資訊，請參閱HNSW。

PQ

PQ 是一種向量壓縮技術，可將高維向量分解成較小的子向量，然後再進行量化和壓縮。壓縮可大幅降低記憶體需求，並加速距離計算。

如需詳細資訊，請參閱IVF_PQ。

HNSW + PQ

HNSW_PQ 結合了 HNSW 和 PQ 的優點，以實現高效率的近似近鄰搜尋。它使用 PQ 來壓縮資料（從而減少記憶體的使用），然後在這些壓縮向量上建立 HNSW 圖形，以實現快速的候選檢索。在搜尋過程中，演算法可以選擇使用更高精度的資料來精煉候選結果，以提高精確度。以下是流程的運作方式：

1. 資料壓縮：PQ 將每個向量分割成多個子向量，並使用中心點的編碼簿對其進行量化，這些編碼簿由m （子向量數量）和nbits （每個子向量的位元）等參數控制。

2. 圖形建構：壓縮向量之後會用來建立 HNSW 圖形。由於向量是以壓縮形式儲存，因此所產生的圖形通常較小、所需記憶體較少，而且可以更快速地遍歷，大幅加快候選人擷取步驟。

3. 候選人擷取：當執行查詢時，演算法會使用 HNSW 圖形中的壓縮資料來有效率地找出候選鄰居。這種以圖表為基礎的查詢方式可大幅減少必須考慮的向量數量，相較於粗暴的搜尋方式，可改善查詢的延遲時間。

4. (可選）結果精煉：初始候選結果可以根據下列參數進行精煉，以獲得更高的精確度：

   • refine:控制是否啟動此精煉步驟。當設定為true 時，系統會使用更高精度或未壓縮的表示重新計算距離。

   • refine_type:指定精煉過程中使用的資料精確度等級（例如 SQ6、SQ8、BF16）。更高精度的選擇，例如FP32 ，可以產生更精確的結果，但需要更多的記憶體。這必須比原始壓縮資料集的精確度高出sq_type 。

   • refine_k:作為放大係數。舉例來說，如果您的 topk是 100，而refine_k 是 2，系統會重新排序前 200 名候選人，並傳回最佳的 100 名，以提高整體精確度。

如需參數及有效值的完整清單，請參閱索引參數。

建立索引

要在 Milvus 的向量場上建立HNSW_PQ 索引，請使用add_index() 方法，指定index_type,metric_type, 以及索引的附加參數。

from pymilvus import MilvusClient

# Prepare index building params
index_params = MilvusClient.prepare_index_params()

index_params.add_index(
    field_name="your_vector_field_name", # Name of the vector field to be indexed
    index_type="HNSW_PQ", # Type of the index to create
    index_name="vector_index", # Name of the index to create
    metric_type="L2", # Metric type used to measure similarity
    params={
        "M": 30, # Maximum number of neighbors each node can connect to in the graph
        "efConstruction": 360, # Number of candidate neighbors considered for connection during index construction
        "m": 384, 
        "nbits": 8,
        "refine": true, # Whether to enable the refinement step
        "refine_type": "SQ8" # Precision level of data used for refinement
    } # Index building params
)

在此設定中

• index_type:要建立的索引類型。在本範例中，設定值為HNSW_PQ 。

• metric_type:用來計算向量間距離的方法。支援的值包括COSINE,L2, 和IP 。如需詳細資訊，請參閱公制類型。

• params:建立索引的附加設定選項。詳情請參閱索引建立參數。

索引參數配置完成後，您可以直接使用create_index() 方法或在create_collection 方法中傳入索引參數來建立索引。如需詳細資訊，請參閱建立集合。

在索引上搜尋

索引建立且實體插入後，您就可以在索引上執行相似性搜尋。

search_params = {
    "params": {
        "ef": 10, # Parameter controlling query time/accuracy trade-off
        "refine_k": 1 # The magnification factor
    }
}

res = MilvusClient.search(
    collection_name="your_collection_name", # Collection name
    anns_field="vector_field",  # Vector field name
    data=[[0.1, 0.2, 0.3, 0.4, 0.5]],  # Query vector
    limit=3,  # TopK results to return
    search_params=search_params
)

在此配置中

• params:在索引上搜索的附加配置选项。詳情請參閱特定於索引的搜尋參數。

索引參數

本節概述用於建立索引和在索引上執行搜尋的參數。

索引建立參數

下表列出了建立索引時可以在params 中設定的參數。

	參數	說明	值範圍	調整建議
HNSW	M	每個節點在圖表中可擁有的最大連線（或邊緣）數量，包括傳出和傳入的邊緣。 此參數直接影響索引建立和搜尋。	類型：整數範圍：[2, 2048] 預設值：30 (每個節點最多可有 30 條出站邊和 30 條入站邊)	較大的M 通常會帶來較高的精確度，但會增加記憶體開銷，並減慢索引建置和搜尋的速度。對於高維度的資料集或高召回率非常重要時，請考慮增加M 。 如果記憶體佔用量和搜尋速度是主要考量，則考慮降低M 。 在大多數情況下，我們建議您設定此範圍內的值：[5, 100].
	efConstruction	在索引建構過程中，考慮連接的候選鄰居數量。 每個新元素都會評估更多的候選鄰居，但實際建立的最大連接數仍受限於M 。	類型：整數範圍：[1，int_max］ 預設值：360	較高的efConstruction 通常會產生更精確的索引，因為會探索更多的潛在連線。考慮增加efConstruction 以提高精確度，尤其是在索引時間不太重要的情況下。 在資源有限的情況下，可考慮降低efConstruction ，以加快索引建置速度。 在大多數情況下，我們建議您設定此範圍內的值：[50, 500].
PQ	m	在量化過程中，將每個高維向量分割成的子向量（用於量化）數量。	類型：整數範圍：[1, 65536] 預設值：無	較高的m 值可以提高精確度，但也會增加計算複雜度和記憶體使用量。m 必須是向量維度(D) 的除數，以確保正確的分解。一般建議的值是m = D/2。 在大多數情況下，我們建議您在這個範圍內設定一個值：[D/8, D]。
	nbits	用來以壓縮形式表示每個子向量中心點索引的位元數。每個編碼本將包含2位元的中心點。例如，如果nbits 設定為 8，每個子向量將以 8 位元的中心點索引來表示。這樣，該子向量的編碼簿中就有28(256) 個可能的中心點。	類型：整數整數範圍：[1, 24] 預設值：8	nbits 較高的值允許較大的編碼本，可能會導致原始向量的表示更精確。在大多數情況下，我們建議您設定此範圍內的值：[1, 16].
	refine	一個布林標誌，用來控制是否在搜尋過程中應用精煉步驟。精煉包括透過計算查詢向量與候選項之間的精確距離，重新排列初始結果。	類型：布林範圍：[true,false] 預設值：false	如果高準確度是必要的，而且您可以容忍稍慢的搜尋時間，請設定為true 。如果速度是優先考量，且可以接受精確度的輕微折衷，請使用false 。
	refine_type	決定精煉過程中使用的資料精確度。 此精確度必須高於壓縮向量的精確度（由m 和nbits 參數設定）。	類型：字串範圍:[SQ6,SQ8,BF16,FP16,FP32 ]。 預設值：無	使用FP32 可在較高記憶體成本下獲得最高精確度，使用SQ6/SQ8 則可獲得更好的壓縮效果。BF16 和FP16 提供一個平衡的替代方案。

特定於索引的搜尋參數

下表列出在索引上搜尋時，可在search_params.params 中設定的參數。

	參數	說明	值範圍	調整建議
HNSW	ef	控制最近鄰檢索時的搜尋範圍。它決定要造訪多少節點，並將其評估為潛在最近鄰居。 此參數只會影響搜尋過程，並只適用於圖形的底層。	類型：整數範圍：[1、int_max］ 預設值:limit(要回傳的 TopK 最近鄰居)	較大的ef 通常會導致較高的搜尋準確度，因為會考慮更多的潛在鄰居。當達到高召回率是關鍵，而搜尋速度較不重要時，請考慮增加ef 。 考慮降低ef 以優先加快搜尋速度，尤其是在可以接受稍微降低精確度的情況下。 在大多數情況下，我們建議您設定此範圍內的值：[K, 10K]。
PQ	refine_k	放大係數，用來控制在精細化（重新排序）階段中，相對於要求的前 K 個結果，有多少額外的候選人會被檢驗。	類型：浮動範圍：[1,float_max) 預設值：1	refine_k 的較高值可以提高召回率和精確度，但也會增加搜尋時間和資源使用。值為 1 表示精煉過程只考慮初始的前 K 個結果。