• Tentang Milvus
  • Mulailah
  • Konsep
  • Panduan Pengguna
  • Impor Data
  • Alat AI
  • Panduan Administrasi
  • Alat
  • Integrasi
  • Tutorial
  • Pertanyaan yang Sering Diajukan
  • API Reference

Panduan Cepat Menggunakan Milvus Lite

Open In Colab GitHub Repository

Vektor, format data keluaran dari model Jaringan Saraf Tiruan, dapat mengenkode informasi secara efektif dan memainkan peran penting dalam aplikasi AI seperti basis pengetahuan, pencarian semantik, Retrieval Augmented Generation (RAG), dan lainnya.

Milvus adalah basis data vektor sumber terbuka yang cocok untuk aplikasi AI dalam skala apa pun, mulai dari menjalankan chatbot demo di Jupyter notebook hingga membangun sistem pencarian berskala web yang melayani miliaran pengguna. Dalam panduan ini, kami akan memandu Anda langkah demi langkah tentang cara menginstal Milvus secara lokal dalam hitungan menit dan menggunakan pustaka klien Python untuk menghasilkan, menyimpan, dan mencari vektor.

Menginstal Milvus

Dalam panduan ini, kami menggunakan Milvus Lite, sebuah pustaka Python yang disertakan dalam pymilvus yang dapat disematkan ke dalam aplikasi klien. Milvus juga mendukung penerapan pada Docker dan Kubernetes untuk kasus penggunaan produksi.

Sebelum memulai, pastikan Anda memiliki Python 3.8+ yang tersedia di lingkungan lokal. Instal pymilvus yang berisi pustaka klien Python dan Milvus Lite:

$ pip install -U pymilvus

Jika Anda menggunakan Google Colab, untuk mengaktifkan dependensi yang baru saja diinstal, Anda mungkin perlu me-restart runtime. (Klik menu “Runtime” di bagian atas layar, lalu pilih “Restart session” dari menu dropdown).

Menyiapkan Basis Data Vektor

Untuk membuat basis data vektor Milvus lokal, cukup buat instance MilvusClient dengan menentukan nama file untuk menyimpan semua data, seperti "milvus_demo.db".

from pymilvus import MilvusClient

client = MilvusClient("milvus_demo.db")

Buat Koleksi

Di Milvus, kita memerlukan koleksi untuk menyimpan vektor dan metadata terkaitnya. Anda dapat menganggapnya sebagai tabel dalam basis data SQL tradisional. Saat membuat koleksi, Anda dapat mendefinisikan parameter skema dan indeks untuk mengonfigurasi spesifikasi vektor seperti dimensi, jenis indeks, dan metrik jarak. Ada juga konsep-konsep kompleks untuk mengoptimalkan indeks demi kinerja pencarian vektor. Untuk saat ini, mari kita fokus pada dasar-dasarnya saja dan gunakan pengaturan default untuk semua yang memungkinkan. Setidaknya, Anda hanya perlu menetapkan nama koleksi dan dimensi bidang vektor dari koleksi tersebut.

if client.has_collection(collection_name="demo_collection"):
    client.drop_collection(collection_name="demo_collection")
client.create_collection(
    collection_name="demo_collection",
    dimension=768,  # The vectors we will use in this demo have 768 dimensions
)

Dalam pengaturan di atas,

  • Kunci utama dan bidang vektor menggunakan nama defaultnya (“id” dan “vector”).
  • Jenis metrik (definisi jarak vektor) diatur ke nilai defaultnya (COSINE).
  • Bidang kunci utama menerima bilangan bulat dan tidak bertambah secara otomatis (yaitu tidak menggunakan fitur auto-id) Sebagai alternatif, Anda dapat mendefinisikan skema koleksi secara formal dengan mengikuti petunjuk ini.

Mempersiapkan Data

Dalam panduan ini, kami menggunakan vektor untuk melakukan pencarian semantik pada teks. Kami perlu menghasilkan vektor untuk teks dengan mengunduh model embedding. Hal ini dapat dilakukan dengan mudah menggunakan fungsi utilitas dari perpustaka pymilvus[model].

Mewakili teks dengan vektor

Pertama, instal pustaka model. Paket ini mencakup alat ML penting seperti PyTorch. Pengunduhan paket mungkin memerlukan waktu jika lingkungan lokal Anda belum pernah menginstal PyTorch.

$ pip install "pymilvus[model]"

Buat embedding vektor dengan model default. Milvus mengharapkan data dimasukkan dalam bentuk daftar kamus, di mana setiap kamus mewakili satu catatan data, yang disebut sebagai entitas.

from pymilvus import model

# If connection to https://huggingface.co/ failed, uncomment the following path
# import os
# os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# This will download a small embedding model "paraphrase-albert-small-v2" (~50MB).
embedding_fn = model.DefaultEmbeddingFunction()

# Text strings to search from.
docs = [
    "Artificial intelligence was founded as an academic discipline in 1956.",
    "Alan Turing was the first person to conduct substantial research in AI.",
    "Born in Maida Vale, London, Turing was raised in southern England.",
]

vectors = embedding_fn.encode_documents(docs)
# The output vector has 768 dimensions, matching the collection that we just created.
print("Dim:", embedding_fn.dim, vectors[0].shape)  # Dim: 768 (768,)

# Each entity has id, vector representation, raw text, and a subject label that we use
# to demo metadata filtering later.
data = [
    {"id": i, "vector": vectors[i], "text": docs[i], "subject": "history"}
    for i in range(len(vectors))
]

print("Data has", len(data), "entities, each with fields: ", data[0].keys())
print("Vector dim:", len(data[0]["vector"]))
Dim: 768 (768,)
Data has 3 entities, each with fields:  dict_keys(['id', 'vector', 'text', 'subject'])
Vector dim: 768

[Alternatif] Gunakan representasi palsu dengan vektor acak

Jika Anda tidak dapat mengunduh model karena masalah jaringan, sebagai solusi sementara, Anda dapat menggunakan vektor acak untuk mewakili teks dan tetap menyelesaikan contoh ini. Perlu diperhatikan bahwa hasil pencarian tidak akan mencerminkan kesamaan semantik karena vektor-vektor tersebut adalah vektor palsu.

import random

# Text strings to search from.
docs = [
    "Artificial intelligence was founded as an academic discipline in 1956.",
    "Alan Turing was the first person to conduct substantial research in AI.",
    "Born in Maida Vale, London, Turing was raised in southern England.",
]
# Use fake representation with random vectors (768 dimension).
vectors = [[random.uniform(-1, 1) for _ in range(768)] for _ in docs]
data = [
    {"id": i, "vector": vectors[i], "text": docs[i], "subject": "history"}
    for i in range(len(vectors))
]

print("Data has", len(data), "entities, each with fields: ", data[0].keys())
print("Vector dim:", len(data[0]["vector"]))
Data has 3 entities, each with fields:  dict_keys(['id', 'vector', 'text', 'subject'])
Vector dim: 768

Masukkan Data

Mari kita masukkan data ke dalam koleksi:

res = client.insert(collection_name="demo_collection", data=data)

print(res)
{'insert_count': 3, 'ids': [0, 1, 2], 'cost': 0}

Sekarang kita dapat melakukan pencarian semantik dengan merepresentasikan teks kueri pencarian sebagai vektor, dan melakukan pencarian kesamaan vektor di Milvus.

Milvus menerima satu atau beberapa permintaan pencarian vektor secara bersamaan. Nilai variabel `query_vectors` adalah daftar vektor, di mana setiap vektor merupakan array bilangan float.

query_vectors = embedding_fn.encode_queries(["Who is Alan Turing?"])
# If you don't have the embedding function you can use a fake vector to finish the demo:
# query_vectors = [ [ random.uniform(-1, 1) for _ in range(768) ] ]

res = client.search(
    collection_name="demo_collection",  # target collection
    data=query_vectors,  # query vectors
    limit=2,  # number of returned entities
    output_fields=["text", "subject"],  # specifies fields to be returned
)

print(res)
data: ["[{'id': 2, 'distance': 0.5859944820404053, 'entity': {'text': 'Born in Maida Vale, London, Turing was raised in southern England.', 'subject': 'history'}}, {'id': 1, 'distance': 0.5118255615234375, 'entity': {'text': 'Alan Turing was the first person to conduct substantial research in AI.', 'subject': 'history'}}]"] , extra_info: {'cost': 0}

Hasilnya berupa daftar hasil, yang masing-masing dipetakan ke kueri pencarian vektor. Setiap kueri berisi daftar hasil, di mana setiap hasil berisi kunci utama entitas, jarak ke vektor kueri, dan detail entitas dengan ` output_fields` yang ditentukan.

Pencarian Vektor dengan Penyaringan Metadata

Anda juga dapat melakukan pencarian vektor sambil mempertimbangkan nilai-nilai metadata (disebut “bidang skalar” di Milvus, karena skalar merujuk pada data non-vektor). Hal ini dilakukan dengan ekspresi filter yang menentukan kriteria tertentu. Mari kita lihat cara mencari dan menyaring menggunakan bidang ` subject ` pada contoh berikut.

# Insert more docs in another subject.
docs = [
    "Machine learning has been used for drug design.",
    "Computational synthesis with AI algorithms predicts molecular properties.",
    "DDR1 is involved in cancers and fibrosis.",
]
vectors = embedding_fn.encode_documents(docs)
data = [
    {"id": 3 + i, "vector": vectors[i], "text": docs[i], "subject": "biology"}
    for i in range(len(vectors))
]

client.insert(collection_name="demo_collection", data=data)

# This will exclude any text in "history" subject despite close to the query vector.
res = client.search(
    collection_name="demo_collection",
    data=embedding_fn.encode_queries(["tell me AI related information"]),
    filter="subject == 'biology'",
    limit=2,
    output_fields=["text", "subject"],
)

print(res)
data: ["[{'id': 4, 'distance': 0.27030569314956665, 'entity': {'text': 'Computational synthesis with AI algorithms predicts molecular properties.', 'subject': 'biology'}}, {'id': 3, 'distance': 0.16425910592079163, 'entity': {'text': 'Machine learning has been used for drug design.', 'subject': 'biology'}}]"] , extra_info: {'cost': 0}

Secara default, bidang skalar tidak diindeks. Jika Anda perlu melakukan pencarian yang difilter berdasarkan metadata pada kumpulan data besar, Anda dapat mempertimbangkan untuk menggunakan skema tetap dan juga mengaktifkan indeks untuk meningkatkan kinerja pencarian.

Selain pencarian vektor, Anda juga dapat melakukan jenis pencarian lainnya:

Kueri

Query() adalah operasi yang mengambil semua entitas yang sesuai dengan kriteria, seperti ekspresi filter atau ID tertentu.

Misalnya, mengambil semua entitas yang bidang skalarnya memiliki nilai tertentu:

res = client.query(
    collection_name="demo_collection",
    filter="subject == 'history'",
    output_fields=["text", "subject"],
)

Mengambil entitas secara langsung berdasarkan kunci utama:

res = client.query(
    collection_name="demo_collection",
    ids=[0, 2],
    output_fields=["vector", "text", "subject"],
)

Menghapus Entitas

Jika Anda ingin menghapus data, Anda dapat menghapus entitas dengan menentukan kunci utama atau menghapus semua entitas yang sesuai dengan ekspresi filter tertentu.

# Delete entities by primary key
res = client.delete(collection_name="demo_collection", ids=[0, 2])

print(res)

# Delete entities by a filter expression
res = client.delete(
    collection_name="demo_collection",
    filter="subject == 'biology'",
)

print(res)
[0, 2]
[3, 4, 5]

Memuat Data yang Sudah Ada

Karena semua data Milvus Lite disimpan dalam file lokal, Anda dapat memuat semua data ke dalam memori bahkan setelah program berakhir, dengan membuat koleksi yang sudah ada ( MilvusClient ) menggunakan file yang ada. Misalnya, ini akan memulihkan koleksi dari file “milvus_demo.db” dan melanjutkan penulisan data ke dalamnya.

from pymilvus import MilvusClient

client = MilvusClient("milvus_demo.db")

Menghapus Koleksi

Jika Anda ingin menghapus semua data dalam suatu koleksi, Anda dapat menghapus koleksi tersebut dengan

# Drop collection
client.drop_collection(collection_name="demo_collection")

Pelajari Lebih Lanjut

Milvus Lite sangat cocok untuk memulai dengan program Python lokal. Jika Anda memiliki data berskala besar atau ingin menggunakan Milvus dalam lingkungan produksi, Anda dapat mempelajari cara mengimplementasikan Milvus di Docker dan Kubernetes. Semua mode deployment Milvus menggunakan API yang sama, sehingga kode sisi klien Anda tidak perlu banyak diubah jika beralih ke mode deployment lain. Cukup tentukan URI dan Token dari server Milvus yang di-deploy di mana saja:

client = MilvusClient(uri="http://localhost:19530", token="root:Milvus")

Untuk memigrasikan data dari Milvus Lite ke Milvus yang diimplementasikan di Docker atau Kubernetes, lihat Migrasi data dari Milvus Lite.

Milvus menyediakan API REST dan gRPC, dengan pustaka klien dalam bahasa pemrograman seperti Python, Java, Go, C#, dan Node.js.

Untuk desain skema, Milvus mendukung desain skema yang fleksibel, di mana Anda dapat menentukan bidang dan tipe datanya, termasuk bidang vektor. Anda juga dapat menentukan tipe indeks dan parameter untuk setiap bidang. Untuk informasi lebih lanjut, lihat Desain Model Data untuk Pencarian.

Milvus untuk Agen AI

Jika Anda menggunakan asisten pemrograman AI seperti Claude Code atau Cursor, Anda dapat menginstal Milvus Skill untuk membantu alat AI Anda menulis kode Milvus yang benar.

Untuk alat agen lainnya, termasuk server MCP dan prompt yang telah dikurasi, lihat Milvus untuk Agen AI.