Gambaran umum kerangka kerja pemantauan Milvus
Topik ini menjelaskan bagaimana Milvus menggunakan Prometheus untuk memantau metrik dan Grafana untuk memvisualisasikan metrik dan membuat peringatan.
Prometheus di Milvus
Prometheus adalah perangkat pemantauan dan peringatan sumber terbuka untuk implementasi Kubernetes. Prometheus mengumpulkan dan menyimpan metrik sebagai data deret waktu. Ini berarti bahwa metrik disimpan dengan stempel waktu saat direkam, bersama dengan pasangan nilai-kunci opsional yang disebut label.
Saat ini Milvus menggunakan komponen-komponen Prometheus berikut ini:
- Titik akhir Prometheus untuk menarik data dari titik akhir yang ditetapkan oleh eksportir.
- Operator Prometheus untuk mengelola instance pemantauan Prometheus secara efektif.
- Kube-prometheus untuk menyediakan pemantauan cluster Kubernetes end-to-end yang mudah dioperasikan.
Nama metrik
Nama metrik yang valid di Prometheus berisi tiga elemen: namespace, subsistem, dan nama. Ketiga elemen ini dihubungkan dengan "_".
Ruang nama metrik Milvus yang dipantau oleh Prometheus adalah "milvus". Bergantung pada peran yang dimiliki metrik, subsistemnya haruslah salah satu dari delapan peran berikut: "rootcoord", "proxy", "querycoord", "querynode", "indexcoord", "indexnode", "datacoord", "datanode".
Misalnya, metrik Milvus yang menghitung jumlah total vektor yang ditanyakan diberi nama milvus_proxy_search_vectors_count.
Jenis metrik
Prometheus mendukung empat jenis metrik:
- Penghitung: jenis metrik kumulatif yang nilainya hanya dapat bertambah atau disetel ulang ke nol pada saat restart.
- Pengukur: jenis metrik yang nilainya bisa naik dan turun.
- Histogram: jenis metrik yang dihitung berdasarkan bucket yang dapat dikonfigurasi. Contoh umum adalah durasi permintaan.
- Ringkasan: jenis metrik yang mirip dengan histogram yang menghitung kuantil yang dapat dikonfigurasi selama jendela waktu geser.
Label metrik
Prometheus membedakan sampel dengan nama metrik yang sama dengan memberi label. Label adalah atribut tertentu dari sebuah metrik. Metrik dengan nama yang sama harus memiliki nilai yang sama untuk bidang variable_labels. Tabel berikut mencantumkan nama dan arti label umum metrik Milvus.
| Nama label | Definisi | Nilai |
|---|---|---|
| "node_id" | Identitas unik dari sebuah peran. | ID unik global yang dihasilkan oleh milvus. |
| "status" | Status operasi atau permintaan yang sedang diproses. | "meninggalkan", "sukses", atau "gagal". |
| "tipe_query" | Jenis permintaan baca. | "cari" atau "kueri". |
| "msg_type" | Jenis pesan. | "masukkan", "hapus", "cari", atau "kueri". |
| "segment_state" | Status sebuah segmen. | "Disegel", "Tumbuh", "Memerah", "Pembilasan", "Menjatuhkan", atau "Mengimpor". |
| "cache_state" | Status objek yang di-cache. | "hit" atau "miss". |
| "cache_name" | Nama objek yang ditembolok. Label ini digunakan bersama dengan label "cache_state". | Misalnya "CollectionID", "Schema", dll. |
| "channel_name" | Topik fisik dalam penyimpanan pesan (Pulsar atau Kafka). | Contoh: "by-dev-rootcoord-dml_0", "by-dev-rootcoord-dml_255", dsb. |
| "nama_fungsi" | Nama fungsi yang menangani permintaan tertentu. | Misalnya "CreateCollection", "CreatePartition", "CreateIndex", dll. |
| "user_name" | Nama pengguna yang digunakan untuk autentikasi. | Nama pengguna pilihan Anda. |
| "index_task_status" | Status tugas indeks dalam penyimpanan meta. | "belum diterbitkan", "sedang dalam proses", "gagal", "selesai", atau "didaur ulang". |
Grafana di Milvus
Grafana adalah tumpukan visualisasi sumber terbuka yang dapat terhubung dengan semua sumber data. Dengan menarik metrik, Grafana membantu pengguna memahami, menganalisis, dan memantau data yang sangat besar.
Milvus menggunakan dasbor Grafana yang dapat disesuaikan untuk visualisasi metrik.
Apa selanjutnya
Setelah mempelajari alur kerja dasar pemantauan dan peringatan, pelajari: