Milvus Metrik Dashboard
Milvus gibt während der Laufzeit eine Liste mit detaillierten Zeitreihenmetriken aus. Sie können Prometheus und Grafana verwenden, um die Metriken zu visualisieren. In diesem Thema werden die Überwachungsmetriken vorgestellt, die im Grafana Milvus Dashboard angezeigt werden.
Die Zeiteinheit in diesem Thema ist Millisekunden. Und "99. Perzentil" in diesem Thema bezieht sich auf die Tatsache, dass 99 Prozent der Zeitstatistiken innerhalb eines bestimmten Wertes kontrolliert werden.
Wir empfehlen, zunächst den Überblick über das Milvus-Überwachungsframework zu lesen, um die Prometheus-Metriken zu verstehen.
Proxy
| Panel | Beschreibung des Panels | PromQL (Prometheus-Abfragesprache) | Die verwendeten Milvus-Metriken | Beschreibung der Milvus-Metriken |
|---|---|---|---|---|
| Suchvektor-Zählrate | Die durchschnittliche Anzahl der Vektoren, die pro Sekunde von jedem Proxy innerhalb der letzten zwei Minuten abgefragt wurden. | sum(increase(milvus_proxy_search_vectors_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (pod, node_id) | milvus_proxy_search_vectors_count | Die kumulierte Anzahl der abgefragten Vektoren. |
| Einfüge-Vektor-Zählrate | Die durchschnittliche Anzahl der Vektoren, die von jedem Proxy in den letzten zwei Minuten pro Sekunde eingefügt wurden. | sum(increase(milvus_proxy_insert_vectors_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (pod, node_id) | milvus_proxy_insert_vectors_count | Die kumulierte Anzahl der eingefügten Vektoren. |
| Suchlatenz | Die durchschnittliche Latenz und das 99. Perzentil der Latenz beim Empfang von Such- und Abfrageanfragen durch jeden Proxy innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_proxy_sq_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_proxy_sq_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type) / sum(increase(milvus_proxy_sq_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type) | milvus_proxy_sq_latency | Die Latenzzeit von Such- und Abfrageanfragen. |
| Sammlung Suchlatenz | Die durchschnittliche Latenzzeit und das 99. Perzentil der Latenzzeit für den Empfang von Such- und Abfrageanfragen an eine bestimmte Sammlung durch jeden Proxy innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_proxy_collection_sq_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", collection_name=~"$collection"}[2m]))) avg: sum(increase(milvus_proxy_collection_sq_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", collection_name=~"$collection"}[2m])) by (pod, node_id, query_type) / sum(increase(milvus_proxy_collection_sq_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", collection_name=~"$collection"}[2m])) by (pod, node_id, query_type) | milvus_proxy_collection_sq_latency_sum | Die Latenzzeit von Such- und Abfrageanfragen an eine bestimmte Sammlung |
| Mutationslatenz | Die durchschnittliche Latenzzeit und das 99. Perzentil der Latenz für den Empfang von Mutationsanfragen durch jeden Proxy innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, msg_type, pod, node_id) (rate(milvus_proxy_mutation_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_proxy_mutation_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, msg_type) / sum(increase(milvus_proxy_mutation_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, msg_type) | milvus_proxy_mutation_latency_sum | Die Latenzzeit von Mutationsanfragen. |
| Sammlung Mutationslatenz | Die durchschnittliche Latenzzeit und das 99. Perzentil der Latenzzeit für den Empfang von Mutationsanfragen an eine bestimmte Sammlung durch jeden Bevollmächtigten innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_proxy_collection_sq_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", collection_name=~"$collection"}[2m]))) avg: sum(increase(milvus_proxy_collection_sq_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", collection_name=~"$collection"}[2m])) by (pod, node_id, query_type) / sum(increase(milvus_proxy_collection_sq_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", collection_name=~"$collection"}[2m])) by (pod, node_id, query_type) | milvus_proxy_collection_sq_latency_sum | Die Latenzzeit von Mutationsanfragen an eine bestimmte Sammlung |
| Latenzzeit für Suchergebnisse | Die durchschnittliche Latenz und das 99. Perzentil der Latenz zwischen dem Senden von Such- und Abfrageanfragen und dem Empfang der Ergebnisse durch den Proxy innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_proxy_sq_wait_result_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_proxy_sq_wait_result_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type) / sum(increase(milvus_proxy_sq_wait_result_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type) | milvus_proxy_sq_wait_result_latency | Die Latenzzeit zwischen dem Senden von Such- und Abfrageanfragen und dem Empfang von Ergebnissen. |
| Latenz der Suchergebnisse verringern | Die durchschnittliche Latenz und das 99. Perzentil der Latenz der Aggregation von Such- und Abfrageergebnissen durch Proxy innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_proxy_sq_reduce_result_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_proxy_sq_reduce_result_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type) / sum(increase(milvus_proxy_sq_reduce_result_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type) | milvus_proxy_sq_reduce_result_latency | Die Latenz der Aggregation von Such- und Abfrageergebnissen, die von jedem Abfrageknoten zurückgegeben werden. |
| Latenzzeit der Dekodierung von Suchergebnissen | Die durchschnittliche Latenzzeit und das 99. Perzentil der Latenz der Dekodierung von Such- und Abfrageergebnissen durch Proxy innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_proxy_sq_decode_result_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_proxy_sq_decode_result_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type) / sum(increase(milvus_proxy_sq_decode_resultlatency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type) | milvus_proxy_sq_decode_result_latency | Die Latenzzeit für die Dekodierung der einzelnen Such- und Abfrageergebnisse. |
| Msg Stream Object Num | Die durchschnittliche, maximale und minimale Anzahl der msgstream-Objekte, die von jedem Proxy auf dem entsprechenden physischen Topic innerhalb der letzten zwei Minuten erstellt wurden. | avg(milvus_proxy_msgstream_obj_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) max(milvus_proxy_msgstream_obj_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) min(milvus_proxy_msgstream_obj_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_proxy_msgstream_obj_num | Die Anzahl der msgstream-Objekte, die in jedem physischen Thema erstellt wurden. |
| Mutations-Sende-Latenzzeit | Die durchschnittliche Latenz und das 99. Perzentil der Latenz beim Senden von Einfüge- oder Löschanfragen durch jeden Proxy innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, msg_type, pod, node_id) (rate(milvus_proxy_mutation_send_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_proxy_mutation_send_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, msg_type) / sum(increase(milvus_proxy_mutation_send_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, msg_type) | milvus_proxy_mutation_send_latency | Die Latenzzeit für das Senden von Einfüge- oder Löschanfragen. |
| Cache-Trefferrate | Die durchschnittliche Cache-Trefferrate von Operationen einschließlich GeCollectionID, GetCollectionInfo und GetCollectionSchema pro Sekunde innerhalb der letzten zwei Minuten. | sum(increase(milvus_proxy_cache_hit_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", cache_state="hit"}[2m])/120) by(cache_name, pod, node_id) / sum(increase(milvus_proxy_cache_hit_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by(cache_name, pod, node_id) | milvus_proxy_cache_hit_count | Die Statistik der Treffer- und Fehlerrate der einzelnen Cache-Lesevorgänge. |
| Cache-Aktualisierungslatenz | Die durchschnittliche Latenzzeit und das 99. Perzentil der Cache-Aktualisierungslatenz nach Proxy innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_proxy_cache_update_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_proxy_cache_update_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id) / sum(increase(milvus_proxy_cache_update_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id) | milvus_proxy_cache_update_latency | Die Latenzzeit für jede Cache-Aktualisierung. |
| Sync-Zeit | Die durchschnittliche, maximale und minimale Anzahl von Epochenzeiten, die von jedem Proxy in seinem entsprechenden physischen Kanal synchronisiert wurden. | avg(milvus_proxy_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) max(milvus_proxy_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) min(milvus_proxy_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_proxy_sync_epoch_time | Die Epochenzeit jedes physischen Kanals (Unix-Zeit, die seit dem 1. Januar 1970 vergangenen Millisekunden). Abgesehen von den physischen Kanälen gibt es einen Standard ChannelName. |
| PK-Latenz anwenden | Die durchschnittliche Latenz und das 99. Perzentil der Primärschlüssel-Anwendungslatenz durch jeden Proxy innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_proxy_apply_pk_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_proxy_apply_pk_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id) / sum(increase(milvus_proxy_apply_pk_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id) | milvus_proxy_apply_pk_latency | Die Latenzzeit für die Anwendung des Primärschlüssels. |
| Latenz der Anwendung des Zeitstempels | Die durchschnittliche Latenzzeit und das 99. Perzentil der Zeitstempel-Anwendungslatenz durch jeden Proxy innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_proxy_apply_timestamp_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_proxy_apply_timestamp_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id) / sum(increase(milvus_proxy_apply_timestamp_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id) | milvus_proxy_apply_timestamp_latency | Die Latenzzeit für die Anwendung des Zeitstempels. |
| Anfrage-Erfolgsrate | Die Anzahl der erfolgreichen Anfragen, die pro Sekunde von jedem Proxy empfangen wurden, mit einer detaillierten Aufschlüsselung der einzelnen Anfragearten. Mögliche Anforderungstypen sind DescribeCollection, DescribeIndex, GetCollectionStatistics, HasCollection, Search, Query, ShowPartitions, Insert, usw. | |||
sum(increase(milvus_proxy_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", status="success"}[2m])/120) by(function_name, pod, node_id) | milvus_proxy_req_count | Die Anzahl aller Typen von eingehenden Anfragen | ||
| Request Failed Rate | Die Anzahl der fehlgeschlagenen Anfragen, die pro Sekunde von jedem Proxy empfangen wurden, mit einer detaillierten Aufschlüsselung der einzelnen Anfragearten. Mögliche Anforderungstypen sind DescribeCollection, DescribeIndex, GetCollectionStatistics, HasCollection, Search, Query, ShowPartitions, Insert, usw. | |||
sum(increase(milvus_proxy_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", status="fail"}[2m])/120) by(function_name, pod, node_id) | milvus_proxy_req_count | Die Anzahl aller Typen von eingehenden Anfragen | ||
| Anfrage-Latenzzeit | Die durchschnittliche Latenzzeit und das 99. Perzentil der Latenz aller Arten von Empfangsanfragen durch jeden Proxy | p99: histogram_quantile(0.99, sum by (le, pod, node_id, function_name) (rate(milvus_proxy_req_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_proxy_req_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, function_name) / sum(increase(milvus_proxy_req_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, function_name) | milvus_proxy_req_latency | Die Latenz aller Arten von Empfangsanfragen |
| Byte-Rate der Einfüge-/Löschanfragen | Die Anzahl der Bytes der Einfüge- und Löschanfragen, die der Proxy in den letzten zwei Minuten pro Sekunde erhalten hat. | sum(increase(milvus_proxy_receive_bytes_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by(pod, node_id) | milvus_proxy_receive_bytes_count | Die Anzahl der Einfüge- und Löschanfragen. |
| Byte-Rate senden | Die Anzahl der Bytes, die pro Sekunde an den Client zurückgesendet werden, während jeder Proxy innerhalb der letzten zwei Minuten auf Such- und Abfrageanfragen antwortet. | sum(increase(milvus_proxy_send_bytes_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by(pod, node_id) | milvus_proxy_send_bytes_count | Die Anzahl der Bytes, die an den Client zurückgesendet werden, während jeder Proxy auf Such- und Abfrageanfragen antwortet. |
Root-Koordinator
| Bereich | Beschreibung des Panels | PromQL (Prometheus-Abfragesprache) | Die verwendeten Milvus-Metriken | Milvus-Metriken Beschreibung |
|---|---|---|---|---|
| Proxy-Knoten-Anzahl | Die Anzahl der erstellten Proxys. | sum(milvus_rootcoord_proxy_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_rootcoord_proxy_num | Die Anzahl der Proxys. |
| Sync-Zeit | Die durchschnittliche, maximale und minimale Anzahl von Epochenzeiten, die von jedem Root-Koordinator in jedem physischen Kanal (PChannel) synchronisiert wurden. | avg(milvus_rootcoord_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) max(milvus_rootcoord_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) min(milvus_rootcoord_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_rootcoord_sync_epoch_time | Die Epochenzeit jedes physischen Kanals (Unix-Zeit, die seit dem 1. Januar 1970 vergangenen Millisekunden). |
| DDL-Anforderungsrate | Status und Anzahl der DDL-Anfragen pro Sekunde in den letzten zwei Minuten. | sum(increase(milvus_rootcoord_ddl_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status, function_name) | milvus_rootcoord_ddl_req_count | Die Gesamtzahl der DDL-Anfragen einschließlich CreateCollection, DescribeCollection, DescribeSegments, HasCollection, ShowCollections, ShowPartitions und ShowSegments. |
| Latenzzeit für DDL-Anfragen | Die durchschnittliche Latenz und das 99. Perzentil der DDL-Anfrage-Latenz innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, function_name) (rate(milvus_rootcoord_ddl_req_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_rootcoord_ddl_req_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (function_name) / sum(increase(milvus_rootcoord_ddl_req_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (function_name) | milvus_rootcoord_ddl_req_latency | Die Latenz aller Arten von DDL-Anforderungen. |
| Sync Timetick Latenz | Die durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die von Root Coord für die Synchronisierung aller Zeitstempel mit PChannel in den letzten zwei Minuten benötigt wurde. | p99: histogram_quantile(0.99, sum by (le) (rate(milvus_rootcoord_sync_timetick_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_rootcoord_sync_timetick_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) / sum(increase(milvus_rootcoord_sync_timetick_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) | milvus_rootcoord_sync_timetick_latency | die von Root Coord für die Synchronisierung aller Zeitstempel mit PChannel verwendete Zeit. |
| ID-Zuweisungsrate | Die Anzahl der von Root Coord zugewiesenen IDs pro Sekunde innerhalb der letzten zwei Minuten. | sum(increase(milvus_rootcoord_id_alloc_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) | milvus_rootcoord_id_alloc_count | Die kumulierte Anzahl der von Root-Coord zugewiesenen IDs. |
| Zeitstempel | Der letzte Zeitstempel von root coord. | milvus_rootcoord_timestamp{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"} | milvus_rootcoord_timestamp | Der letzte Zeitstempel von root coord. |
| Gespeicherter Zeitstempel | Die vorab zugewiesenen Zeitstempel, die Root Coord im Metaspeicher speichert. | milvus_rootcoord_timestamp_saved{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"} | milvus_rootcoord_timestamp_saved | Die voreingestellten Zeitstempel, die Root-Coord im Metaspeicher speichert. Die Zeitstempel werden 3 Sekunden früher zugewiesen. Und der Zeitstempel wird alle 50 Millisekunden aktualisiert und im Metaspeicher gespeichert. |
| Sammlung Num | Die Gesamtzahl der Sammlungen. | sum(milvus_rootcoord_collection_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_rootcoord_collection_num | Die Gesamtzahl der derzeit in Milvus vorhandenen Sammlungen. |
| Partition Num | Die Gesamtzahl der Partitionen. | sum(milvus_rootcoord_partition_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_rootcoord_partition_num | Die Gesamtzahl der Partitionen, die derzeit in Milvus vorhanden sind. |
| DML-Kanal-Anzahl | Die Gesamtzahl der DML-Kanäle. | sum(milvus_rootcoord_dml_channel_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_rootcoord_dml_channel_num | Die Gesamtzahl der DML-Kanäle, die derzeit in Milvus vorhanden sind. |
| Msgstream Num | Die Gesamtzahl der Msgstreams. | sum(milvus_rootcoord_msgstream_obj_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_rootcoord_msgstream_obj_num | Die Gesamtzahl der derzeit in Milvus vorhandenen msgstreams. |
| Berechtigungsnachweis Num | Die Gesamtzahl der Credentials. | sum(milvus_rootcoord_credential_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_rootcoord_credential_num | Die Gesamtzahl der Credentials in Milvus derzeit. |
| Zeittick-Verzögerung | Die Summe der maximalen Zeittickverzögerung der Flussdiagramme auf allen DataNodes und QueryNodes. | sum(milvus_rootcoord_time_tick_delay{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_rootcoord_time_tick_delay | Die maximale Zeitverzögerung der Flussdiagramme auf jedem Datenknoten und Abfrageknoten. |
Abfragekoordinator
| Bereich | Beschreibung des Panels | PromQL (Prometheus-Abfragesprache) | Die verwendeten Milvus-Metriken | Milvus-Metriken Beschreibung |
|---|---|---|---|---|
| Sammlung Geladen Num | Die Anzahl der Sammlungen, die derzeit in den Speicher geladen sind. | sum(milvus_querycoord_collection_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_querycoord_collection_num | Die Anzahl der Sammlungen, die derzeit von Milvus geladen werden. |
| Entity Loaded Num | Die Anzahl der Entitäten, die derzeit in den Speicher geladen sind. | sum(milvus_querycoord_entity_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_querycoord_entitiy_num | Die Anzahl der Entitäten, die derzeit von Milvus geladen werden. |
| Load Request Rate | Die Anzahl der Ladeanfragen pro Sekunde innerhalb der letzten zwei Minuten. | sum(increase(milvus_querycoord_load_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])120) by (status) | milvus_querycoord_load_req_count | Die kumulierte Anzahl der Ladeanfragen. |
| Rate der Freigabeanfragen | Die Anzahl der Freigabeanfragen pro Sekunde innerhalb der letzten zwei Minuten. | sum(increase(milvus_querycoord_release_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status) | milvus_querycoord_release_req_count | Die kumulierte Anzahl der Freigabeanfragen. |
| Latenzzeit für Lastanforderungen | Die durchschnittliche Latenz und das 99. Perzentil der Lastanforderungslatenz innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le) (rate(milvus_querycoord_load_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querycoord_load_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) / sum(increase(milvus_querycoord_load_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) | milvus_querycoord_load_latency | Die Zeit, die für den Abschluss einer Lastanforderung benötigt wird. |
| Latenzzeit für Freigabeanforderung | Die durchschnittliche Latenzzeit und das 99. Perzentil der Latenzzeit für Freigabeanfragen innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le) (rate(milvus_querycoord_release_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querycoord_release_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) / sum(increase(milvus_querycoord_release_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) | milvus_querycoord_release_latency | Die Zeit, die für den Abschluss einer Freigabeanforderung benötigt wird. |
| Sub-Load-Aufgabe | Die Anzahl der Sub-Load-Tasks. | sum(milvus_querycoord_child_task_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_querycoord_child_task_num | Die Anzahl der Sub-Load-Tasks. Eine Abfragekoordinate teilt eine Ladeanforderung in mehrere Sub-Load-Tasks auf. |
| Übergeordnete Lastaufgabe | Die Anzahl der übergeordneten Lastaufgaben. | sum(milvus_querycoord_parent_task_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_querycoord_parent_task_num | Die Anzahl der Unterlastaufgaben. Jede Lastanforderung entspricht einer übergeordneten Aufgabe in der Aufgabenwarteschlange. |
| Latenzzeit der Unter-Lastaufgaben | Die durchschnittliche Latenzzeit und das 99. Perzentil der Latenzzeit einer Sub-Load-Task innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le) (rate(milvus_querycoord_child_task_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querycoord_child_task_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) / sum(increase(milvus_querycoord_child_task_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) namespace"}[2m]))) | milvus_querycoord_child_task_latency | Die Latenzzeit für den Abschluss einer Subload-Aufgabe. |
| Abfrageknoten-Anzahl | Die Anzahl der Abfrageknoten, die von query coord verwaltet werden. | sum(milvus_querycoord_querynode_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_querycoord_querynode_num | Die Anzahl der Abfrageknoten, die von Query Coord verwaltet werden. |
Abfrageknoten
| Bereich | Beschreibung des Panels | PromQL (Prometheus-Abfragesprache) | Die verwendeten Milvus-Metriken | Milvus-Metriken Beschreibung |
|---|---|---|---|---|
| Sammlung Geladene Num | Die Anzahl der Sammlungen, die von jedem Abfrageknoten in den Speicher geladen wurden. | sum(milvus_querynode_collection_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_querynode_collection_num | Die Anzahl der von jedem Abfrageknoten geladenen Sammlungen. |
| Partition Geladen Num | Die Anzahl der Partitionen, die von jedem Abfrageknoten in den Speicher geladen wurden. | sum(milvus_querynode_partition_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_querynode_partition_num | Die Anzahl der von jedem Abfrageknoten geladenen Partitionen. |
| Segment Geladen Num | Die Anzahl der von den einzelnen Abfrageknoten in den Speicher geladenen Segmente. | sum(milvus_querynode_segment_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_querynode_segment_num | Die Anzahl der von jedem Abfrageknoten geladenen Segmente. |
| Abfragbare Entität (Num) | Die Anzahl der abfragbaren und durchsuchbaren Entitäten auf jedem Abfrageknoten. | sum(milvus_querynode_entity_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_querynode_entity_num | Die Anzahl der abfragbaren und durchsuchbaren Entitäten auf jedem Abfrageknoten. |
| DML Virtueller Kanal | Die Anzahl der virtuellen DML-Kanäle, die von jedem Abfrageknoten überwacht werden. | sum(milvus_querynode_dml_vchannel_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_querynode_dml_vchannel_num | Die Anzahl der virtuellen DML-Kanäle, die von jedem Abfrageknoten überwacht werden. |
| Virtueller Delta-Kanal | Anzahl der Deltakanäle, die von jedem Abfrageknoten überwacht werden. | sum(milvus_querynode_delta_vchannel_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_querynode_delta_vchannel_num | Anzahl der Deltakanäle, die von jedem Abfrageknoten überwacht werden. |
| Verbraucheranzahl | Anzahl der Verbraucher in jedem Abfrageknoten. | sum(milvus_querynode_consumer_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_querynode_consumer_num | Die Anzahl der Verbraucher in jedem Abfrageknoten. |
| Suchanfrage-Rate | Die Gesamtzahl der Such- und Abfrageanfragen, die pro Sekunde von jedem Abfrageknoten empfangen werden, und die Anzahl der erfolgreichen Such- und Abfrageanfragen innerhalb der letzten zwei Minuten. | sum(increase(milvus_querynode_sq_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (query_type, status, pod, node_id) | milvus_querynode_sq_req_count | Die kumulierte Anzahl der Such- und Abfrageanfragen. |
| Latenzzeit der Suchanfragen | Die durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die von jedem Abfrageknoten innerhalb der letzten zwei Minuten für Such- und Abfrageanfragen verwendet wurde. Dieses Panel zeigt die Latenz von Such- und Abfrageanfragen an, deren Status "Erfolg" oder "Total" ist. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_sq_req_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querynode_sq_req_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type) / sum(increase(milvus_querynode_sq_req_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type) | milvus_querynode_sq_req_latency | Die Latenzzeit der Suchanfragen des Abfrageknotens. |
| Suche in Warteschlange Latenz | Die durchschnittliche Latenz und das 99. Perzentil der Latenz von Such- und Abfrageanfragen in der Warteschlange innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, pod, node_id, query_type) (rate(milvus_querynode_sq_queue_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querynode_sq_queue_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type) / sum(increase(milvus_querynode_sq_queue_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type) | milvus_querynode_sq_queue_latency | Die Latenzzeit der vom Abfrageknoten empfangenen Such- und Abfrageanfragen. |
| Suchsegment-Latenz | Die durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Abfrageknoten für die Suche und Abfrage eines Segments innerhalb der letzten zwei Minuten benötigt. Der Status eines Segments kann versiegelt oder wachsend sein. | p99: histogram_quantile(0.99, sum by (le, query_type, segment_state, pod, node_id) (rate(milvus_querynode_sq_segment_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querynode_sq_segment_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type, segment_state) / sum(increase(milvus_querynode_sq_segment_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type, segment_state) | milvus_querynode_sq_segment_latency | Die Zeit, die jeder Abfrageknoten für die Suche und Abfrage jedes Segments benötigt. |
| Latenzzeit für Segcore-Anfragen | Die durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Abfrageknoten für die Suche und Abfrage in Segcore innerhalb der letzten zwei Minuten benötigt. | p99: histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_querynode_sq_core_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querynode_sq_core_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type) / sum(increase(milvus_querynode_sq_core_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type) | milvus_querynode_sq_core_latency | Die Zeit, die jeder Abfrageknoten für die Suche und Abfrage in segcore benötigt. |
| Latenzzeit der Suche reduzieren | Die durchschnittliche Latenz und das 99. Perzentil der Zeit, die von jedem Abfrageknoten während der Reduktionsphase einer Suche oder Abfrage innerhalb der letzten zwei Minuten benötigt wurde. | p99: histogram_quantile(0.99, sum by (le, pod, node_id, query_type) (rate(milvus_querynode_sq_reduce_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querynode_sq_reduce_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type) / sum(increase(milvus_querynode_sq_reduce_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type) | milvus_querynode_sq_reduce_latency | Die Zeit, die jede Abfrage während der Reduktionsphase verbringt. |
| Lastsegment-Latenz | Die durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Abfrageknoten in den letzten zwei Minuten zum Laden eines Segments benötigt. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_load_segment_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querynode_load_segment_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_querynode_load_segment_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_querynode_load_segment_latency_bucket | Die Zeit, die jeder Abfrageknoten benötigt, um ein Segment zu laden. |
| Flussdiagramm Num | Die Anzahl der Flussgraphen in jedem Abfrageknoten. | sum(milvus_querynode_flowgraph_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_querynode_flowgraph_num | Die Anzahl der Flussgraphen in jedem Abfrageknoten. |
| Ungelöste Leseaufgabenlänge | Länge der Warteschlange der ungelösten Leseaufträge in jedem Abfrageknoten. | sum(milvus_querynode_read_task_unsolved_len{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_querynode_read_task_unsolved_len | Die Länge der Warteschlange der ungelösten Leseanforderungen. |
| Länge der fertigen Leseaufgaben | Länge der Warteschlange der auszuführenden Leseanforderungen in jedem Abfrageknoten. | sum(milvus_querynode_read_task_ready_len{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_querynode_read_task_ready_len | Länge der Warteschlange der auszuführenden Leseanforderungen. |
| Parallele Leseaufgabe Num | Die Anzahl der gleichzeitigen Leseanforderungen, die derzeit in jedem Abfrageknoten ausgeführt werden. | sum(milvus_querynode_read_task_concurrency{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_querynode_read_task_concurrency | Die Anzahl der derzeit ausgeführten gleichzeitigen Leseanforderungen. |
| Geschätzte CPU-Auslastung | Die vom Scheduler geschätzte CPU-Auslastung der einzelnen Abfrageknoten. | sum(milvus_querynode_estimate_cpu_usage{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_querynode_estimate_cpu_usage | Die vom Scheduler geschätzte CPU-Auslastung der einzelnen Abfrageknoten. Wenn der Wert 100 ist, bedeutet dies, dass eine ganze virtuelle CPU (vCPU) verwendet wird. |
| Größe der Suchgruppe | Die durchschnittliche Anzahl und das 99. Perzentil der Suchgruppengröße (d. h. die Gesamtzahl der ursprünglichen Suchanfragen in den von jedem Abfrageknoten ausgeführten kombinierten Suchanfragen) innerhalb der letzten zwei Minuten. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_search_group_size_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querynode_search_group_size_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_querynode_search_group_size_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_querynode_load_segment_latency_bucket | Die Anzahl der ursprünglichen Suchaufträge unter den kombinierten Suchaufträgen aus verschiedenen Buckets (d. h. die Größe der Suchgruppe). |
| Suche NQ | Die durchschnittliche Anzahl und das 99. Perzentil der Anzahl der Abfragen (NQ), die durchgeführt wurden, während jeder Abfrageknoten innerhalb der letzten zwei Minuten Suchanfragen ausführte. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_search_group_size_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querynode_search_group_size_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_querynode_search_group_size_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_querynode_load_segment_latency_bucket | Die Anzahl der Abfragen (NQ) von Suchanfragen. |
| Suchgruppe NQ | Die durchschnittliche Anzahl und das 99. Perzentil der NQ der Suchanfragen, die von jedem Abfrageknoten innerhalb der letzten zwei Minuten kombiniert und ausgeführt wurden. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_search_group_nq_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querynode_search_group_nq_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_querynode_search_group_nq_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_querynode_load_segment_latency_bucket | Die NQ der kombinierten Suchanfragen aus verschiedenen Buckets. |
| Suche Top_K | Die durchschnittliche Anzahl und das 99. Perzentil der Top_K der Suchanfragen, die von jedem Abfrageknoten innerhalb der letzten zwei Minuten ausgeführt wurden. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_search_topk_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querynode_search_topk_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_querynode_search_topk_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_querynode_load_segment_latency_bucket | Die Top_K der Suchanfragen. |
| Suchgruppe Top_K | Die durchschnittliche Anzahl und das 99. Perzentil der Top_K der Suchanfragen, die von jedem Abfrageknoten innerhalb der letzten zwei Minuten kombiniert und ausgeführt wurden. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_search_group_topk_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_querynode_search_group_topk_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_querynode_search_group_topk_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_querynode_load_segment_latency_bucket | Die Top_K der kombinierten Suchanfragen aus verschiedenen Buckets. |
| Evicted Read Requests Rate | Die Anzahl der Leseanfragen, die von jedem Abfrageknoten innerhalb der letzten zwei Minuten pro Sekunde verdrängt wurden. | sum(increase(milvus_querynode_read_evicted_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (pod, node_id) | milvus_querynode_sq_req_count | Die kumulierte Anzahl der Leseanfragen, die von einem Abfrageknoten aufgrund von Verkehrsbeschränkungen verdrängt wurden. |
Datenkoordinator
| Bereich | Beschreibung des Panels | PromQL (Prometheus-Abfragesprache) | Die verwendeten Milvus-Metriken | Beschreibung der Milvus-Metriken |
|---|---|---|---|---|
| Datenknoten-Anzahl | Die Anzahl der Datenknoten, die von data coord. | sum(milvus_datacoord_datanode_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_datacoord_datanode_num | Die Anzahl der Datenknoten, die von data coord. |
| Segment-Anzahl | Die Anzahl aller Arten von Segmenten, die von data coord in den Metadaten aufgezeichnet wurden. | sum(milvus_datacoord_segment_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (segment_state) | milvus_datacoord_segment_num | Die Anzahl aller Arten von Segmenten, die von data coord in den Metadaten aufgezeichnet wurden. Zu den Segmenttypen gehören: dropped, flushed, flushing, growing und sealed. |
| Sammlung Num | Die Anzahl der in den Metadaten nach Datenkoordinaten aufgezeichneten Sammlungen. | sum(milvus_datacoord_collection_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_datacoord_collection_num | Die Anzahl der in den Metadaten nach Datenkoordinaten aufgezeichneten Sammlungen. |
| Gespeicherte Zeilen | Die kumulierte Anzahl der Zeilen mit gültigen und gespülten Daten in data coord. | sum(milvus_datacoord_stored_rows_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_datacoord_stored_rows_num | Die kumulierte Anzahl der Zeilen mit gültigen und geleerten Daten in der Datenkoordinate. |
| Stored Rows Rate | Die durchschnittliche Anzahl der Zeilen, die in den letzten zwei Minuten pro Sekunde geleert wurden. | sum(increase(milvus_datacoord_stored_rows_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (pod, node_id) | milvus_datacoord_stored_rows_count | Die akkumulierte Anzahl der gespülten Zeilen in der Datenkoordinate. |
| Sync-Zeit | Die durchschnittliche, maximale und minimale Anzahl von Epochenzeiten, die von data coord in jedem physischen Kanal synchronisiert wurden. | avg(milvus_datacoord_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) max(milvus_datacoord_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) min(milvus_datacoord_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_datacoord_sync_epoch_time | Die Epochenzeit jedes physischen Kanals (Unix-Zeit, die seit dem 1. Januar 1970 vergangenen Millisekunden). |
| Größe des gespeicherten Binlogs | Die Gesamtgröße des gespeicherten Binlogs. | sum(milvus_datacoord_stored_binlog_size{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_datacoord_stored_binlog_size | Die Gesamtgröße des in Milvus gespeicherten Binlogs. |
Datenknoten
| Bereich | Beschreibung des Panels | PromQL (Prometheus-Abfragesprache) | Die verwendeten Milvus-Metriken | Milvus-Metriken Beschreibung |
|---|---|---|---|---|
| Flussdiagramm Num | Die Anzahl der Flowgraph-Objekte, die den einzelnen Datenknoten entsprechen. | sum(milvus_datanode_flowgraph_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_datanode_flowgraph_num | Die Anzahl der Flowgraph-Objekte. Jeder Shard in einer Sammlung entspricht einem Flowgraph-Objekt. |
| Msg-Zeilen-Verbrauchsrate | Die Anzahl der Zeilen von Streaming-Nachrichten, die pro Sekunde von jedem Datenknoten innerhalb der letzten zwei Minuten verbraucht wurden. | sum(increase(milvus_datanode_msg_rows_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (msg_type, pod, node_id) | milvus_datanode_msg_rows_count | Die Anzahl der verbrauchten Zeilen von Streaming-Nachrichten. Derzeit umfassen die von den Datenknoten gezählten Streaming-Nachrichten nur Einfügungs- und Löschungsnachrichten. |
| Flush-Datengrößenrate | Die Größe jeder Flush-Nachricht, die pro Sekunde von jedem Datenknoten in den letzten zwei Minuten aufgezeichnet wurde. | sum(increase(milvus_datanode_flushed_data_size{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (msg_type, pod, node_id) | milvus_datanode_flushed_data_size | Die Größe jeder geflushten Nachricht. Derzeit umfassen die nach Datenknoten gezählten Streaming-Nachrichten nur Einfügungs- und Löschungsnachrichten. |
| Verbraucher Num | Die Anzahl der auf jedem Datenknoten erstellten Verbraucher. | sum(milvus_datanode_consumer_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_datanode_consumer_num | Die Anzahl der Verbraucher, die auf jedem Datenknoten erstellt wurden. Jeder Flowgraph entspricht einem Consumer. |
| Erzeuger Num | Die Anzahl der Produzenten, die auf jedem Datenknoten angelegt wurden. | sum(milvus_datanode_producer_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_datanode_producer_num | Die Anzahl der Verbraucher, die auf jedem Datenknoten erstellt wurden. Jeder Shard in einer Sammlung entspricht einem Deltakanalproduzenten und einem Zeittickkanalproduzenten. |
| Sync-Zeit | Die durchschnittliche, maximale und minimale Anzahl von Epochenzeiten, die von jedem Datenknoten in allen physischen Themen synchronisiert wurden. | avg(milvus_datanode_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) max(milvus_datanode_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) min(milvus_datanode_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_datanode_sync_epoch_time | Die Epochenzeit (Unix-Zeit, die Millisekunden, die seit dem 1. Januar 1970 vergangen sind) jedes physischen Themas auf einem Datenknoten. |
| Nicht entleerte Segmente Num | Die Anzahl der nicht entleerten Segmente, die auf jedem Datenknoten erstellt wurden. | sum(milvus_datanode_unflushed_segment_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) | milvus_datanode_unflushed_segment_num | Die Anzahl der nicht entnommenen Segmente, die auf jedem Datenknoten erstellt wurden. |
| Latenzzeit des Kodierungspuffers | Die durchschnittliche Latenz und das 99. Perzentil der Zeit, die für die Codierung eines Puffers durch jeden Datenknoten innerhalb der letzten zwei Minuten benötigt wurde. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_datanode_encode_buffer_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_datanode_encode_buffer_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_datanode_encode_buffer_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_datanode_encode_buffer_latency | Die Zeit, die jeder Datenknoten für die Kodierung eines Puffers benötigt. |
| Daten speichern Latenzzeit | Die durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Datenknoten innerhalb der letzten zwei Minuten für das Schreiben eines Puffers in die Speicherebene benötigt hat. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_datanode_save_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_datanode_save_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_datanode_save_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_datanode_save_latency | Die Zeit, die jeder Datenknoten benötigt, um einen Puffer in die Speicherebene zu schreiben. |
| Flush-Operate-Rate | Die Anzahl, wie oft jeder Datenknoten in den letzten zwei Minuten pro Sekunde einen Puffer leert. | sum(increase(milvus_datanode_flush_buffer_op_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status, pod, node_id) | milvus_datanode_flush_buffer_op_count | Die kumulierte Anzahl, wie oft ein Datenknoten einen Puffer leert. |
| Autoflush-Operate-Rate | Anzahl der automatischen Pufferentleerungen jedes Datenknotens pro Sekunde innerhalb der letzten zwei Minuten. | sum(increase(milvus_datanode_autoflush_buffer_op_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status, pod, node_id) | milvus_datanode_autoflush_buffer_op_count | Die akkumulierte Anzahl, wie oft ein Datenknoten einen Puffer automatisch leert. |
| Flush-Anforderungsrate | Anzahl der Pufferentleerungsanfragen, die jeder Datenknoten in den letzten zwei Minuten pro Sekunde erhalten hat. | sum(increase(milvus_datanode_flush_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status, pod, node_id) | milvus_datanode_flush_req_count | Die kumulierte Anzahl der Male, die ein Datenknoten eine Flush-Anforderung von einem Datenkoordinator erhält. |
| Verdichtungs-Latenzzeit | Die durchschnittliche Latenzzeit und das 99-Perzentil der Zeit, die jeder Datenknoten für die Ausführung einer Verdichtungsaufgabe in den letzten zwei Minuten benötigt. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_datanode_compaction_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_datanode_compaction_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_datanode_compaction_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_datanode_compaction_latency | Die Zeit, die jeder Datenknoten für die Ausführung einer Verdichtungsaufgabe benötigt. |
Index-Koordinator
| Bereich | Beschreibung des Panels | PromQL (Prometheus-Abfragesprache) | Die verwendeten Milvus-Metriken | Beschreibung der Milvus-Metriken |
|---|---|---|---|---|
| Index-Anfrage-Rate | Die durchschnittliche Anzahl der Indexaufbauanfragen, die in den letzten zwei Minuten pro Sekunde eingegangen sind. | sum(increase(milvus_indexcoord_indexreq_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status) | milvus_indexcoord_indexreq_count | Die Anzahl der empfangenen Indexerstellungsanfragen. |
| Index Task Count | Die Anzahl aller in den Index-Metadaten aufgezeichneten Indizierungs-Tasks. | sum(milvus_indexcoord_indextask_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (index_task_status) | milvus_indexcoord_indextask_count | Die Anzahl aller in den Index-Metadaten aufgezeichneten Indizierungs-Tasks. |
| Index-Knoten-Anzahl | Die Anzahl der verwalteten Indexknoten. | sum(milvus_indexcoord_indexnode_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) | milvus_indexcoord_indexnode_num | Die Anzahl der verwalteten Indexknoten. |
Index-Knoten
| Bereich | Beschreibung des Panels | PromQL (Prometheus-Abfragesprache) | Die verwendeten Milvus-Metriken | Beschreibung der Milvus-Metriken |
|---|---|---|---|---|
| Index-Task-Rate | Die durchschnittliche Anzahl der Indexaufbau-Tasks, die von jedem Indexknoten pro Sekunde innerhalb der letzten zwei Minuten empfangen wurden. | sum(increase(milvus_indexnode_index_task_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status, pod, node_id) | milvus_indexnode_index_task_count | Die Anzahl der empfangenen Indexaufbau-Tasks. |
| Lastfeld-Latenzzeit | Die durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Indexknoten in den letzten zwei Minuten zum Laden von Segmentfelddaten benötigt hat. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_indexnode_load_field_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_indexnode_load_field_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_indexnode_load_field_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_indexnode_load_field_latency | Die Zeit, die ein Indexknoten zum Laden von Segmentfelddaten benötigt. |
| Dekodierfeld-Latenzzeit | Die durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Indexknoten innerhalb der letzten zwei Minuten für die Codierung von Felddaten benötigt hat. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_indexnode_decode_field_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_indexnode_decode_field_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_indexnode_decode_field_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_indexnode_decode_field_latency | Die für die Dekodierung von Felddaten verwendete Zeit. |
| Indexaufbau-Latenzzeit | Die durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Indexknoten in den letzten zwei Minuten für den Aufbau von Indizes benötigt hat. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_indexnode_build_index_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_indexnode_build_index_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_indexnode_build_index_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_indexnode_build_index_latency | Die für den Aufbau von Indizes verwendete Zeit. |
| Index-Latenzzeit kodieren | Die durchschnittliche Latenz und das 99. Perzentil der Zeit, die von jedem Indexknoten für die Codierung von Indexdateien in den letzten zwei Minuten benötigt wurde. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_indexnode_encode_index_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_indexnode_encode_index_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_indexnode_encode_index_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_indexnode_encode_index_latency | Die für die Kodierung von Indexdateien verwendete Zeit. |
| Index-Latenzzeit speichern | Die durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die von jedem Indexknoten zum Speichern von Indexdateien in den letzten zwei Minuten benötigt wurde. | p99: histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_indexnode_save_index_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))) avg: sum(increase(milvus_indexnode_save_index_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_indexnode_save_index_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) | milvus_indexnode_save_index_latency | Die Zeit, die zum Speichern von Indexdateien verwendet wurde. |
