milvus-logo
LFAI
Home
  • Leitfaden für die Verwaltung

Milvus Metrik Dashboard

Milvus gibt während der Laufzeit eine Liste mit detaillierten Zeitreihenmetriken aus. Sie können Prometheus und Grafana verwenden, um die Metriken zu visualisieren. In diesem Thema werden die Überwachungsmetriken vorgestellt, die im Grafana Milvus Dashboard angezeigt werden.

Die Zeiteinheit in diesem Thema ist Millisekunden. Und "99. Perzentil" in diesem Thema bezieht sich auf die Tatsache, dass 99 Prozent der Zeitstatistiken innerhalb eines bestimmten Wertes kontrolliert werden.

Wir empfehlen, zunächst den Überblick über das Milvus-Überwachungsframework zu lesen, um die Prometheus-Metriken zu verstehen.

Proxy

PanelBeschreibung des PanelsPromQL (Prometheus-Abfragesprache)Die verwendeten Milvus-MetrikenBeschreibung der Milvus-Metriken
Suchvektor-ZählrateDie durchschnittliche Anzahl der Vektoren, die pro Sekunde von jedem Proxy innerhalb der letzten zwei Minuten abgefragt wurden.sum(increase(milvus_proxy_search_vectors_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (pod, node_id)milvus_proxy_search_vectors_countDie kumulierte Anzahl der abgefragten Vektoren.
Einfüge-Vektor-ZählrateDie durchschnittliche Anzahl der Vektoren, die von jedem Proxy in den letzten zwei Minuten pro Sekunde eingefügt wurden.sum(increase(milvus_proxy_insert_vectors_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (pod, node_id)milvus_proxy_insert_vectors_countDie kumulierte Anzahl der eingefügten Vektoren.
SuchlatenzDie durchschnittliche Latenz und das 99. Perzentil der Latenz beim Empfang von Such- und Abfrageanfragen durch jeden Proxy innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_proxy_sq_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_proxy_sq_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type) / sum(increase(milvus_proxy_sq_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type)
milvus_proxy_sq_latencyDie Latenzzeit von Such- und Abfrageanfragen.
Sammlung SuchlatenzDie durchschnittliche Latenzzeit und das 99. Perzentil der Latenzzeit für den Empfang von Such- und Abfrageanfragen an eine bestimmte Sammlung durch jeden Proxy innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_proxy_collection_sq_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", collection_name=~"$collection"}[2m])))
avg:
sum(increase(milvus_proxy_collection_sq_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", collection_name=~"$collection"}[2m])) by (pod, node_id, query_type) / sum(increase(milvus_proxy_collection_sq_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", collection_name=~"$collection"}[2m])) by (pod, node_id, query_type)
milvus_proxy_collection_sq_latency_sumDie Latenzzeit von Such- und Abfrageanfragen an eine bestimmte Sammlung
MutationslatenzDie durchschnittliche Latenzzeit und das 99. Perzentil der Latenz für den Empfang von Mutationsanfragen durch jeden Proxy innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, msg_type, pod, node_id) (rate(milvus_proxy_mutation_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_proxy_mutation_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, msg_type) / sum(increase(milvus_proxy_mutation_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, msg_type)
milvus_proxy_mutation_latency_sumDie Latenzzeit von Mutationsanfragen.
Sammlung MutationslatenzDie durchschnittliche Latenzzeit und das 99. Perzentil der Latenzzeit für den Empfang von Mutationsanfragen an eine bestimmte Sammlung durch jeden Bevollmächtigten innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_proxy_collection_sq_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", collection_name=~"$collection"}[2m])))
avg:
sum(increase(milvus_proxy_collection_sq_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", collection_name=~"$collection"}[2m])) by (pod, node_id, query_type) / sum(increase(milvus_proxy_collection_sq_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", collection_name=~"$collection"}[2m])) by (pod, node_id, query_type)
milvus_proxy_collection_sq_latency_sumDie Latenzzeit von Mutationsanfragen an eine bestimmte Sammlung
Latenzzeit für SuchergebnisseDie durchschnittliche Latenz und das 99. Perzentil der Latenz zwischen dem Senden von Such- und Abfrageanfragen und dem Empfang der Ergebnisse durch den Proxy innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_proxy_sq_wait_result_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_proxy_sq_wait_result_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type) / sum(increase(milvus_proxy_sq_wait_result_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type)
milvus_proxy_sq_wait_result_latencyDie Latenzzeit zwischen dem Senden von Such- und Abfrageanfragen und dem Empfang von Ergebnissen.
Latenz der Suchergebnisse verringernDie durchschnittliche Latenz und das 99. Perzentil der Latenz der Aggregation von Such- und Abfrageergebnissen durch Proxy innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_proxy_sq_reduce_result_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_proxy_sq_reduce_result_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type) / sum(increase(milvus_proxy_sq_reduce_result_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type)
milvus_proxy_sq_reduce_result_latencyDie Latenz der Aggregation von Such- und Abfrageergebnissen, die von jedem Abfrageknoten zurückgegeben werden.
Latenzzeit der Dekodierung von SuchergebnissenDie durchschnittliche Latenzzeit und das 99. Perzentil der Latenz der Dekodierung von Such- und Abfrageergebnissen durch Proxy innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_proxy_sq_decode_result_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_proxy_sq_decode_result_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type) / sum(increase(milvus_proxy_sq_decode_resultlatency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, query_type)
milvus_proxy_sq_decode_result_latencyDie Latenzzeit für die Dekodierung der einzelnen Such- und Abfrageergebnisse.
Msg Stream Object NumDie durchschnittliche, maximale und minimale Anzahl der msgstream-Objekte, die von jedem Proxy auf dem entsprechenden physischen Topic innerhalb der letzten zwei Minuten erstellt wurden.avg(milvus_proxy_msgstream_obj_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) max(milvus_proxy_msgstream_obj_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) min(milvus_proxy_msgstream_obj_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_proxy_msgstream_obj_numDie Anzahl der msgstream-Objekte, die in jedem physischen Thema erstellt wurden.
Mutations-Sende-LatenzzeitDie durchschnittliche Latenz und das 99. Perzentil der Latenz beim Senden von Einfüge- oder Löschanfragen durch jeden Proxy innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, msg_type, pod, node_id) (rate(milvus_proxy_mutation_send_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_proxy_mutation_send_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, msg_type) / sum(increase(milvus_proxy_mutation_send_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, msg_type)
milvus_proxy_mutation_send_latencyDie Latenzzeit für das Senden von Einfüge- oder Löschanfragen.
Cache-TrefferrateDie durchschnittliche Cache-Trefferrate von Operationen einschließlich GeCollectionID, GetCollectionInfo und GetCollectionSchema pro Sekunde innerhalb der letzten zwei Minuten.sum(increase(milvus_proxy_cache_hit_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", cache_state="hit"}[2m])/120) by(cache_name, pod, node_id) / sum(increase(milvus_proxy_cache_hit_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by(cache_name, pod, node_id)milvus_proxy_cache_hit_countDie Statistik der Treffer- und Fehlerrate der einzelnen Cache-Lesevorgänge.
Cache-AktualisierungslatenzDie durchschnittliche Latenzzeit und das 99. Perzentil der Cache-Aktualisierungslatenz nach Proxy innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_proxy_cache_update_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_proxy_cache_update_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id) / sum(increase(milvus_proxy_cache_update_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id)
milvus_proxy_cache_update_latencyDie Latenzzeit für jede Cache-Aktualisierung.
Sync-ZeitDie durchschnittliche, maximale und minimale Anzahl von Epochenzeiten, die von jedem Proxy in seinem entsprechenden physischen Kanal synchronisiert wurden.avg(milvus_proxy_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) max(milvus_proxy_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) min(milvus_proxy_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_proxy_sync_epoch_timeDie Epochenzeit jedes physischen Kanals (Unix-Zeit, die seit dem 1. Januar 1970 vergangenen Millisekunden).
Abgesehen von den physischen Kanälen gibt es einen Standard ChannelName.
PK-Latenz anwendenDie durchschnittliche Latenz und das 99. Perzentil der Primärschlüssel-Anwendungslatenz durch jeden Proxy innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_proxy_apply_pk_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_proxy_apply_pk_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id) / sum(increase(milvus_proxy_apply_pk_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id)
milvus_proxy_apply_pk_latencyDie Latenzzeit für die Anwendung des Primärschlüssels.
Latenz der Anwendung des ZeitstempelsDie durchschnittliche Latenzzeit und das 99. Perzentil der Zeitstempel-Anwendungslatenz durch jeden Proxy innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_proxy_apply_timestamp_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_proxy_apply_timestamp_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id) / sum(increase(milvus_proxy_apply_timestamp_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id)
milvus_proxy_apply_timestamp_latencyDie Latenzzeit für die Anwendung des Zeitstempels.
Anfrage-ErfolgsrateDie Anzahl der erfolgreichen Anfragen, die pro Sekunde von jedem Proxy empfangen wurden, mit einer detaillierten Aufschlüsselung der einzelnen Anfragearten. Mögliche Anforderungstypen sind DescribeCollection, DescribeIndex, GetCollectionStatistics, HasCollection, Search, Query, ShowPartitions, Insert, usw.
sum(increase(milvus_proxy_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", status="success"}[2m])/120) by(function_name, pod, node_id)milvus_proxy_req_countDie Anzahl aller Typen von eingehenden Anfragen
Request Failed RateDie Anzahl der fehlgeschlagenen Anfragen, die pro Sekunde von jedem Proxy empfangen wurden, mit einer detaillierten Aufschlüsselung der einzelnen Anfragearten. Mögliche Anforderungstypen sind DescribeCollection, DescribeIndex, GetCollectionStatistics, HasCollection, Search, Query, ShowPartitions, Insert, usw.
sum(increase(milvus_proxy_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace", status="fail"}[2m])/120) by(function_name, pod, node_id)milvus_proxy_req_countDie Anzahl aller Typen von eingehenden Anfragen
Anfrage-LatenzzeitDie durchschnittliche Latenzzeit und das 99. Perzentil der Latenz aller Arten von Empfangsanfragen durch jeden Proxyp99:
histogram_quantile(0.99, sum by (le, pod, node_id, function_name) (rate(milvus_proxy_req_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_proxy_req_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, function_name) / sum(increase(milvus_proxy_req_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (pod, node_id, function_name)
milvus_proxy_req_latencyDie Latenz aller Arten von Empfangsanfragen
Byte-Rate der Einfüge-/LöschanfragenDie Anzahl der Bytes der Einfüge- und Löschanfragen, die der Proxy in den letzten zwei Minuten pro Sekunde erhalten hat.sum(increase(milvus_proxy_receive_bytes_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by(pod, node_id)milvus_proxy_receive_bytes_countDie Anzahl der Einfüge- und Löschanfragen.
Byte-Rate sendenDie Anzahl der Bytes, die pro Sekunde an den Client zurückgesendet werden, während jeder Proxy innerhalb der letzten zwei Minuten auf Such- und Abfrageanfragen antwortet.sum(increase(milvus_proxy_send_bytes_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by(pod, node_id)milvus_proxy_send_bytes_countDie Anzahl der Bytes, die an den Client zurückgesendet werden, während jeder Proxy auf Such- und Abfrageanfragen antwortet.

Root-Koordinator

BereichBeschreibung des PanelsPromQL (Prometheus-Abfragesprache)Die verwendeten Milvus-MetrikenMilvus-Metriken Beschreibung
Proxy-Knoten-AnzahlDie Anzahl der erstellten Proxys.sum(milvus_rootcoord_proxy_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_rootcoord_proxy_numDie Anzahl der Proxys.
Sync-ZeitDie durchschnittliche, maximale und minimale Anzahl von Epochenzeiten, die von jedem Root-Koordinator in jedem physischen Kanal (PChannel) synchronisiert wurden.avg(milvus_rootcoord_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) max(milvus_rootcoord_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) min(milvus_rootcoord_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_rootcoord_sync_epoch_timeDie Epochenzeit jedes physischen Kanals (Unix-Zeit, die seit dem 1. Januar 1970 vergangenen Millisekunden).
DDL-AnforderungsrateStatus und Anzahl der DDL-Anfragen pro Sekunde in den letzten zwei Minuten.sum(increase(milvus_rootcoord_ddl_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status, function_name)milvus_rootcoord_ddl_req_countDie Gesamtzahl der DDL-Anfragen einschließlich CreateCollection, DescribeCollection, DescribeSegments, HasCollection, ShowCollections, ShowPartitions und ShowSegments.
Latenzzeit für DDL-AnfragenDie durchschnittliche Latenz und das 99. Perzentil der DDL-Anfrage-Latenz innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, function_name) (rate(milvus_rootcoord_ddl_req_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_rootcoord_ddl_req_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (function_name) / sum(increase(milvus_rootcoord_ddl_req_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by (function_name)
milvus_rootcoord_ddl_req_latencyDie Latenz aller Arten von DDL-Anforderungen.
Sync Timetick LatenzDie durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die von Root Coord für die Synchronisierung aller Zeitstempel mit PChannel in den letzten zwei Minuten benötigt wurde.p99:
histogram_quantile(0.99, sum by (le) (rate(milvus_rootcoord_sync_timetick_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_rootcoord_sync_timetick_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) / sum(increase(milvus_rootcoord_sync_timetick_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))
milvus_rootcoord_sync_timetick_latencydie von Root Coord für die Synchronisierung aller Zeitstempel mit PChannel verwendete Zeit.
ID-ZuweisungsrateDie Anzahl der von Root Coord zugewiesenen IDs pro Sekunde innerhalb der letzten zwei Minuten.sum(increase(milvus_rootcoord_id_alloc_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120)milvus_rootcoord_id_alloc_countDie kumulierte Anzahl der von Root-Coord zugewiesenen IDs.
ZeitstempelDer letzte Zeitstempel von root coord.milvus_rootcoord_timestamp{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}milvus_rootcoord_timestampDer letzte Zeitstempel von root coord.
Gespeicherter ZeitstempelDie vorab zugewiesenen Zeitstempel, die Root Coord im Metaspeicher speichert.milvus_rootcoord_timestamp_saved{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}milvus_rootcoord_timestamp_savedDie voreingestellten Zeitstempel, die Root-Coord im Metaspeicher speichert.
Die Zeitstempel werden 3 Sekunden früher zugewiesen. Und der Zeitstempel wird alle 50 Millisekunden aktualisiert und im Metaspeicher gespeichert.
Sammlung NumDie Gesamtzahl der Sammlungen.sum(milvus_rootcoord_collection_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_rootcoord_collection_numDie Gesamtzahl der derzeit in Milvus vorhandenen Sammlungen.
Partition NumDie Gesamtzahl der Partitionen.sum(milvus_rootcoord_partition_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_rootcoord_partition_numDie Gesamtzahl der Partitionen, die derzeit in Milvus vorhanden sind.
DML-Kanal-AnzahlDie Gesamtzahl der DML-Kanäle.sum(milvus_rootcoord_dml_channel_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_rootcoord_dml_channel_numDie Gesamtzahl der DML-Kanäle, die derzeit in Milvus vorhanden sind.
Msgstream NumDie Gesamtzahl der Msgstreams.sum(milvus_rootcoord_msgstream_obj_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_rootcoord_msgstream_obj_numDie Gesamtzahl der derzeit in Milvus vorhandenen msgstreams.
Berechtigungsnachweis NumDie Gesamtzahl der Credentials.sum(milvus_rootcoord_credential_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_rootcoord_credential_numDie Gesamtzahl der Credentials in Milvus derzeit.
Zeittick-VerzögerungDie Summe der maximalen Zeittickverzögerung der Flussdiagramme auf allen DataNodes und QueryNodes.sum(milvus_rootcoord_time_tick_delay{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_rootcoord_time_tick_delayDie maximale Zeitverzögerung der Flussdiagramme auf jedem Datenknoten und Abfrageknoten.

Abfragekoordinator

BereichBeschreibung des PanelsPromQL (Prometheus-Abfragesprache)Die verwendeten Milvus-MetrikenMilvus-Metriken Beschreibung
Sammlung Geladen NumDie Anzahl der Sammlungen, die derzeit in den Speicher geladen sind.sum(milvus_querycoord_collection_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_querycoord_collection_numDie Anzahl der Sammlungen, die derzeit von Milvus geladen werden.
Entity Loaded NumDie Anzahl der Entitäten, die derzeit in den Speicher geladen sind.sum(milvus_querycoord_entity_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_querycoord_entitiy_numDie Anzahl der Entitäten, die derzeit von Milvus geladen werden.
Load Request RateDie Anzahl der Ladeanfragen pro Sekunde innerhalb der letzten zwei Minuten.sum(increase(milvus_querycoord_load_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])120) by (status)milvus_querycoord_load_req_countDie kumulierte Anzahl der Ladeanfragen.
Rate der FreigabeanfragenDie Anzahl der Freigabeanfragen pro Sekunde innerhalb der letzten zwei Minuten.sum(increase(milvus_querycoord_release_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status)milvus_querycoord_release_req_countDie kumulierte Anzahl der Freigabeanfragen.
Latenzzeit für LastanforderungenDie durchschnittliche Latenz und das 99. Perzentil der Lastanforderungslatenz innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le) (rate(milvus_querycoord_load_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querycoord_load_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) / sum(increase(milvus_querycoord_load_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))
milvus_querycoord_load_latencyDie Zeit, die für den Abschluss einer Lastanforderung benötigt wird.
Latenzzeit für FreigabeanforderungDie durchschnittliche Latenzzeit und das 99. Perzentil der Latenzzeit für Freigabeanfragen innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le) (rate(milvus_querycoord_release_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querycoord_release_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) / sum(increase(milvus_querycoord_release_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m]))
milvus_querycoord_release_latencyDie Zeit, die für den Abschluss einer Freigabeanforderung benötigt wird.
Sub-Load-AufgabeDie Anzahl der Sub-Load-Tasks.sum(milvus_querycoord_child_task_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_querycoord_child_task_numDie Anzahl der Sub-Load-Tasks.
Eine Abfragekoordinate teilt eine Ladeanforderung in mehrere Sub-Load-Tasks auf.
Übergeordnete LastaufgabeDie Anzahl der übergeordneten Lastaufgaben.sum(milvus_querycoord_parent_task_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_querycoord_parent_task_numDie Anzahl der Unterlastaufgaben.
Jede Lastanforderung entspricht einer übergeordneten Aufgabe in der Aufgabenwarteschlange.
Latenzzeit der Unter-LastaufgabenDie durchschnittliche Latenzzeit und das 99. Perzentil der Latenzzeit einer Sub-Load-Task innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le) (rate(milvus_querycoord_child_task_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querycoord_child_task_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) / sum(increase(milvus_querycoord_child_task_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) namespace"}[2m])))
milvus_querycoord_child_task_latencyDie Latenzzeit für den Abschluss einer Subload-Aufgabe.
Abfrageknoten-AnzahlDie Anzahl der Abfrageknoten, die von query coord verwaltet werden.sum(milvus_querycoord_querynode_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_querycoord_querynode_numDie Anzahl der Abfrageknoten, die von Query Coord verwaltet werden.

Abfrageknoten

BereichBeschreibung des PanelsPromQL (Prometheus-Abfragesprache)Die verwendeten Milvus-MetrikenMilvus-Metriken Beschreibung
Sammlung Geladene NumDie Anzahl der Sammlungen, die von jedem Abfrageknoten in den Speicher geladen wurden.sum(milvus_querynode_collection_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_querynode_collection_numDie Anzahl der von jedem Abfrageknoten geladenen Sammlungen.
Partition Geladen NumDie Anzahl der Partitionen, die von jedem Abfrageknoten in den Speicher geladen wurden.sum(milvus_querynode_partition_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_querynode_partition_numDie Anzahl der von jedem Abfrageknoten geladenen Partitionen.
Segment Geladen NumDie Anzahl der von den einzelnen Abfrageknoten in den Speicher geladenen Segmente.sum(milvus_querynode_segment_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_querynode_segment_numDie Anzahl der von jedem Abfrageknoten geladenen Segmente.
Abfragbare Entität (Num)Die Anzahl der abfragbaren und durchsuchbaren Entitäten auf jedem Abfrageknoten.sum(milvus_querynode_entity_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_querynode_entity_numDie Anzahl der abfragbaren und durchsuchbaren Entitäten auf jedem Abfrageknoten.
DML Virtueller KanalDie Anzahl der virtuellen DML-Kanäle, die von jedem Abfrageknoten überwacht werden.sum(milvus_querynode_dml_vchannel_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_querynode_dml_vchannel_numDie Anzahl der virtuellen DML-Kanäle, die von jedem Abfrageknoten überwacht werden.
Virtueller Delta-KanalAnzahl der Deltakanäle, die von jedem Abfrageknoten überwacht werden.sum(milvus_querynode_delta_vchannel_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_querynode_delta_vchannel_numAnzahl der Deltakanäle, die von jedem Abfrageknoten überwacht werden.
VerbraucheranzahlAnzahl der Verbraucher in jedem Abfrageknoten.sum(milvus_querynode_consumer_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_querynode_consumer_numDie Anzahl der Verbraucher in jedem Abfrageknoten.
Suchanfrage-RateDie Gesamtzahl der Such- und Abfrageanfragen, die pro Sekunde von jedem Abfrageknoten empfangen werden, und die Anzahl der erfolgreichen Such- und Abfrageanfragen innerhalb der letzten zwei Minuten.sum(increase(milvus_querynode_sq_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (query_type, status, pod, node_id)milvus_querynode_sq_req_countDie kumulierte Anzahl der Such- und Abfrageanfragen.
Latenzzeit der SuchanfragenDie durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die von jedem Abfrageknoten innerhalb der letzten zwei Minuten für Such- und Abfrageanfragen verwendet wurde.
Dieses Panel zeigt die Latenz von Such- und Abfrageanfragen an, deren Status "Erfolg" oder "Total" ist.
p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_sq_req_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querynode_sq_req_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type) / sum(increase(milvus_querynode_sq_req_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type)
milvus_querynode_sq_req_latencyDie Latenzzeit der Suchanfragen des Abfrageknotens.
Suche in Warteschlange LatenzDie durchschnittliche Latenz und das 99. Perzentil der Latenz von Such- und Abfrageanfragen in der Warteschlange innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, pod, node_id, query_type) (rate(milvus_querynode_sq_queue_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querynode_sq_queue_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type) / sum(increase(milvus_querynode_sq_queue_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type)
milvus_querynode_sq_queue_latencyDie Latenzzeit der vom Abfrageknoten empfangenen Such- und Abfrageanfragen.
Suchsegment-LatenzDie durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Abfrageknoten für die Suche und Abfrage eines Segments innerhalb der letzten zwei Minuten benötigt.
Der Status eines Segments kann versiegelt oder wachsend sein.
p99:
histogram_quantile(0.99, sum by (le, query_type, segment_state, pod, node_id) (rate(milvus_querynode_sq_segment_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querynode_sq_segment_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type, segment_state) / sum(increase(milvus_querynode_sq_segment_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type, segment_state)
milvus_querynode_sq_segment_latencyDie Zeit, die jeder Abfrageknoten für die Suche und Abfrage jedes Segments benötigt.
Latenzzeit für Segcore-AnfragenDie durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Abfrageknoten für die Suche und Abfrage in Segcore innerhalb der letzten zwei Minuten benötigt.p99:
histogram_quantile(0.99, sum by (le, query_type, pod, node_id) (rate(milvus_querynode_sq_core_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querynode_sq_core_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type) / sum(increase(milvus_querynode_sq_core_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type)
milvus_querynode_sq_core_latencyDie Zeit, die jeder Abfrageknoten für die Suche und Abfrage in segcore benötigt.
Latenzzeit der Suche reduzierenDie durchschnittliche Latenz und das 99. Perzentil der Zeit, die von jedem Abfrageknoten während der Reduktionsphase einer Suche oder Abfrage innerhalb der letzten zwei Minuten benötigt wurde.p99:
histogram_quantile(0.99, sum by (le, pod, node_id, query_type) (rate(milvus_querynode_sq_reduce_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querynode_sq_reduce_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type) / sum(increase(milvus_querynode_sq_reduce_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id, query_type)
milvus_querynode_sq_reduce_latencyDie Zeit, die jede Abfrage während der Reduktionsphase verbringt.
Lastsegment-LatenzDie durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Abfrageknoten in den letzten zwei Minuten zum Laden eines Segments benötigt.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_load_segment_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querynode_load_segment_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_querynode_load_segment_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_querynode_load_segment_latency_bucketDie Zeit, die jeder Abfrageknoten benötigt, um ein Segment zu laden.
Flussdiagramm NumDie Anzahl der Flussgraphen in jedem Abfrageknoten.sum(milvus_querynode_flowgraph_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_querynode_flowgraph_numDie Anzahl der Flussgraphen in jedem Abfrageknoten.
Ungelöste LeseaufgabenlängeLänge der Warteschlange der ungelösten Leseaufträge in jedem Abfrageknoten.sum(milvus_querynode_read_task_unsolved_len{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_querynode_read_task_unsolved_lenDie Länge der Warteschlange der ungelösten Leseanforderungen.
Länge der fertigen LeseaufgabenLänge der Warteschlange der auszuführenden Leseanforderungen in jedem Abfrageknoten.sum(milvus_querynode_read_task_ready_len{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_querynode_read_task_ready_lenLänge der Warteschlange der auszuführenden Leseanforderungen.
Parallele Leseaufgabe NumDie Anzahl der gleichzeitigen Leseanforderungen, die derzeit in jedem Abfrageknoten ausgeführt werden.sum(milvus_querynode_read_task_concurrency{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_querynode_read_task_concurrencyDie Anzahl der derzeit ausgeführten gleichzeitigen Leseanforderungen.
Geschätzte CPU-AuslastungDie vom Scheduler geschätzte CPU-Auslastung der einzelnen Abfrageknoten.sum(milvus_querynode_estimate_cpu_usage{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_querynode_estimate_cpu_usageDie vom Scheduler geschätzte CPU-Auslastung der einzelnen Abfrageknoten.
Wenn der Wert 100 ist, bedeutet dies, dass eine ganze virtuelle CPU (vCPU) verwendet wird.
Größe der SuchgruppeDie durchschnittliche Anzahl und das 99. Perzentil der Suchgruppengröße (d. h. die Gesamtzahl der ursprünglichen Suchanfragen in den von jedem Abfrageknoten ausgeführten kombinierten Suchanfragen) innerhalb der letzten zwei Minuten.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_search_group_size_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querynode_search_group_size_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_querynode_search_group_size_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_querynode_load_segment_latency_bucketDie Anzahl der ursprünglichen Suchaufträge unter den kombinierten Suchaufträgen aus verschiedenen Buckets (d. h. die Größe der Suchgruppe).
Suche NQDie durchschnittliche Anzahl und das 99. Perzentil der Anzahl der Abfragen (NQ), die durchgeführt wurden, während jeder Abfrageknoten innerhalb der letzten zwei Minuten Suchanfragen ausführte.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_search_group_size_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querynode_search_group_size_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_querynode_search_group_size_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_querynode_load_segment_latency_bucketDie Anzahl der Abfragen (NQ) von Suchanfragen.
Suchgruppe NQDie durchschnittliche Anzahl und das 99. Perzentil der NQ der Suchanfragen, die von jedem Abfrageknoten innerhalb der letzten zwei Minuten kombiniert und ausgeführt wurden.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_search_group_nq_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querynode_search_group_nq_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_querynode_search_group_nq_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_querynode_load_segment_latency_bucketDie NQ der kombinierten Suchanfragen aus verschiedenen Buckets.
Suche Top_KDie durchschnittliche Anzahl und das 99. Perzentil der Top_K der Suchanfragen, die von jedem Abfrageknoten innerhalb der letzten zwei Minuten ausgeführt wurden.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_search_topk_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querynode_search_topk_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_querynode_search_topk_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_querynode_load_segment_latency_bucketDie Top_K der Suchanfragen.
Suchgruppe Top_KDie durchschnittliche Anzahl und das 99. Perzentil der Top_K der Suchanfragen, die von jedem Abfrageknoten innerhalb der letzten zwei Minuten kombiniert und ausgeführt wurden.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_querynode_search_group_topk_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_querynode_search_group_topk_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_querynode_search_group_topk_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_querynode_load_segment_latency_bucketDie Top_K der kombinierten Suchanfragen aus verschiedenen Buckets.
Evicted Read Requests RateDie Anzahl der Leseanfragen, die von jedem Abfrageknoten innerhalb der letzten zwei Minuten pro Sekunde verdrängt wurden.sum(increase(milvus_querynode_read_evicted_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (pod, node_id)milvus_querynode_sq_req_countDie kumulierte Anzahl der Leseanfragen, die von einem Abfrageknoten aufgrund von Verkehrsbeschränkungen verdrängt wurden.

Datenkoordinator

BereichBeschreibung des PanelsPromQL (Prometheus-Abfragesprache)Die verwendeten Milvus-MetrikenBeschreibung der Milvus-Metriken
Datenknoten-AnzahlDie Anzahl der Datenknoten, die von data coord.sum(milvus_datacoord_datanode_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_datacoord_datanode_numDie Anzahl der Datenknoten, die von data coord.
Segment-AnzahlDie Anzahl aller Arten von Segmenten, die von data coord in den Metadaten aufgezeichnet wurden.sum(milvus_datacoord_segment_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (segment_state)milvus_datacoord_segment_numDie Anzahl aller Arten von Segmenten, die von data coord in den Metadaten aufgezeichnet wurden.
Zu den Segmenttypen gehören: dropped, flushed, flushing, growing und sealed.
Sammlung NumDie Anzahl der in den Metadaten nach Datenkoordinaten aufgezeichneten Sammlungen.sum(milvus_datacoord_collection_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_datacoord_collection_numDie Anzahl der in den Metadaten nach Datenkoordinaten aufgezeichneten Sammlungen.
Gespeicherte ZeilenDie kumulierte Anzahl der Zeilen mit gültigen und gespülten Daten in data coord.sum(milvus_datacoord_stored_rows_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_datacoord_stored_rows_numDie kumulierte Anzahl der Zeilen mit gültigen und geleerten Daten in der Datenkoordinate.
Stored Rows RateDie durchschnittliche Anzahl der Zeilen, die in den letzten zwei Minuten pro Sekunde geleert wurden.sum(increase(milvus_datacoord_stored_rows_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (pod, node_id)milvus_datacoord_stored_rows_countDie akkumulierte Anzahl der gespülten Zeilen in der Datenkoordinate.
Sync-ZeitDie durchschnittliche, maximale und minimale Anzahl von Epochenzeiten, die von data coord in jedem physischen Kanal synchronisiert wurden.avg(milvus_datacoord_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) max(milvus_datacoord_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance) min(milvus_datacoord_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_datacoord_sync_epoch_timeDie Epochenzeit jedes physischen Kanals (Unix-Zeit, die seit dem 1. Januar 1970 vergangenen Millisekunden).
Größe des gespeicherten BinlogsDie Gesamtgröße des gespeicherten Binlogs.sum(milvus_datacoord_stored_binlog_size{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_datacoord_stored_binlog_sizeDie Gesamtgröße des in Milvus gespeicherten Binlogs.

Datenknoten

BereichBeschreibung des PanelsPromQL (Prometheus-Abfragesprache)Die verwendeten Milvus-MetrikenMilvus-Metriken Beschreibung
Flussdiagramm NumDie Anzahl der Flowgraph-Objekte, die den einzelnen Datenknoten entsprechen.sum(milvus_datanode_flowgraph_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_datanode_flowgraph_numDie Anzahl der Flowgraph-Objekte.
Jeder Shard in einer Sammlung entspricht einem Flowgraph-Objekt.
Msg-Zeilen-VerbrauchsrateDie Anzahl der Zeilen von Streaming-Nachrichten, die pro Sekunde von jedem Datenknoten innerhalb der letzten zwei Minuten verbraucht wurden.sum(increase(milvus_datanode_msg_rows_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (msg_type, pod, node_id)milvus_datanode_msg_rows_countDie Anzahl der verbrauchten Zeilen von Streaming-Nachrichten.
Derzeit umfassen die von den Datenknoten gezählten Streaming-Nachrichten nur Einfügungs- und Löschungsnachrichten.
Flush-DatengrößenrateDie Größe jeder Flush-Nachricht, die pro Sekunde von jedem Datenknoten in den letzten zwei Minuten aufgezeichnet wurde.sum(increase(milvus_datanode_flushed_data_size{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (msg_type, pod, node_id)milvus_datanode_flushed_data_sizeDie Größe jeder geflushten Nachricht.
Derzeit umfassen die nach Datenknoten gezählten Streaming-Nachrichten nur Einfügungs- und Löschungsnachrichten.
Verbraucher NumDie Anzahl der auf jedem Datenknoten erstellten Verbraucher.sum(milvus_datanode_consumer_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_datanode_consumer_numDie Anzahl der Verbraucher, die auf jedem Datenknoten erstellt wurden.
Jeder Flowgraph entspricht einem Consumer.
Erzeuger NumDie Anzahl der Produzenten, die auf jedem Datenknoten angelegt wurden.sum(milvus_datanode_producer_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_datanode_producer_numDie Anzahl der Verbraucher, die auf jedem Datenknoten erstellt wurden.
Jeder Shard in einer Sammlung entspricht einem Deltakanalproduzenten und einem Zeittickkanalproduzenten.
Sync-ZeitDie durchschnittliche, maximale und minimale Anzahl von Epochenzeiten, die von jedem Datenknoten in allen physischen Themen synchronisiert wurden.avg(milvus_datanode_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) max(milvus_datanode_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id) min(milvus_datanode_sync_epoch_time{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_datanode_sync_epoch_timeDie Epochenzeit (Unix-Zeit, die Millisekunden, die seit dem 1. Januar 1970 vergangen sind) jedes physischen Themas auf einem Datenknoten.
Nicht entleerte Segmente NumDie Anzahl der nicht entleerten Segmente, die auf jedem Datenknoten erstellt wurden.sum(milvus_datanode_unflushed_segment_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (pod, node_id)milvus_datanode_unflushed_segment_numDie Anzahl der nicht entnommenen Segmente, die auf jedem Datenknoten erstellt wurden.
Latenzzeit des KodierungspuffersDie durchschnittliche Latenz und das 99. Perzentil der Zeit, die für die Codierung eines Puffers durch jeden Datenknoten innerhalb der letzten zwei Minuten benötigt wurde.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_datanode_encode_buffer_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_datanode_encode_buffer_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_datanode_encode_buffer_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_datanode_encode_buffer_latencyDie Zeit, die jeder Datenknoten für die Kodierung eines Puffers benötigt.
Daten speichern LatenzzeitDie durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Datenknoten innerhalb der letzten zwei Minuten für das Schreiben eines Puffers in die Speicherebene benötigt hat.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_datanode_save_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_datanode_save_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_datanode_save_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_datanode_save_latencyDie Zeit, die jeder Datenknoten benötigt, um einen Puffer in die Speicherebene zu schreiben.
Flush-Operate-RateDie Anzahl, wie oft jeder Datenknoten in den letzten zwei Minuten pro Sekunde einen Puffer leert.sum(increase(milvus_datanode_flush_buffer_op_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status, pod, node_id)milvus_datanode_flush_buffer_op_countDie kumulierte Anzahl, wie oft ein Datenknoten einen Puffer leert.
Autoflush-Operate-RateAnzahl der automatischen Pufferentleerungen jedes Datenknotens pro Sekunde innerhalb der letzten zwei Minuten.sum(increase(milvus_datanode_autoflush_buffer_op_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status, pod, node_id)milvus_datanode_autoflush_buffer_op_countDie akkumulierte Anzahl, wie oft ein Datenknoten einen Puffer automatisch leert.
Flush-AnforderungsrateAnzahl der Pufferentleerungsanfragen, die jeder Datenknoten in den letzten zwei Minuten pro Sekunde erhalten hat.sum(increase(milvus_datanode_flush_req_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status, pod, node_id)milvus_datanode_flush_req_countDie kumulierte Anzahl der Male, die ein Datenknoten eine Flush-Anforderung von einem Datenkoordinator erhält.
Verdichtungs-LatenzzeitDie durchschnittliche Latenzzeit und das 99-Perzentil der Zeit, die jeder Datenknoten für die Ausführung einer Verdichtungsaufgabe in den letzten zwei Minuten benötigt.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_datanode_compaction_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_datanode_compaction_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_datanode_compaction_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_datanode_compaction_latencyDie Zeit, die jeder Datenknoten für die Ausführung einer Verdichtungsaufgabe benötigt.

Index-Koordinator

BereichBeschreibung des PanelsPromQL (Prometheus-Abfragesprache)Die verwendeten Milvus-MetrikenBeschreibung der Milvus-Metriken
Index-Anfrage-RateDie durchschnittliche Anzahl der Indexaufbauanfragen, die in den letzten zwei Minuten pro Sekunde eingegangen sind.sum(increase(milvus_indexcoord_indexreq_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status)milvus_indexcoord_indexreq_countDie Anzahl der empfangenen Indexerstellungsanfragen.
Index Task CountDie Anzahl aller in den Index-Metadaten aufgezeichneten Indizierungs-Tasks.sum(milvus_indexcoord_indextask_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (index_task_status)milvus_indexcoord_indextask_countDie Anzahl aller in den Index-Metadaten aufgezeichneten Indizierungs-Tasks.
Index-Knoten-AnzahlDie Anzahl der verwalteten Indexknoten.sum(milvus_indexcoord_indexnode_num{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}) by (app_kubernetes_io_instance)milvus_indexcoord_indexnode_numDie Anzahl der verwalteten Indexknoten.

Index-Knoten

BereichBeschreibung des PanelsPromQL (Prometheus-Abfragesprache)Die verwendeten Milvus-MetrikenBeschreibung der Milvus-Metriken
Index-Task-RateDie durchschnittliche Anzahl der Indexaufbau-Tasks, die von jedem Indexknoten pro Sekunde innerhalb der letzten zwei Minuten empfangen wurden.sum(increase(milvus_indexnode_index_task_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])/120) by (status, pod, node_id)milvus_indexnode_index_task_countDie Anzahl der empfangenen Indexaufbau-Tasks.
Lastfeld-LatenzzeitDie durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Indexknoten in den letzten zwei Minuten zum Laden von Segmentfelddaten benötigt hat.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_indexnode_load_field_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_indexnode_load_field_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_indexnode_load_field_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_indexnode_load_field_latencyDie Zeit, die ein Indexknoten zum Laden von Segmentfelddaten benötigt.
Dekodierfeld-LatenzzeitDie durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Indexknoten innerhalb der letzten zwei Minuten für die Codierung von Felddaten benötigt hat.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_indexnode_decode_field_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_indexnode_decode_field_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_indexnode_decode_field_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_indexnode_decode_field_latencyDie für die Dekodierung von Felddaten verwendete Zeit.
Indexaufbau-LatenzzeitDie durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die jeder Indexknoten in den letzten zwei Minuten für den Aufbau von Indizes benötigt hat.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_indexnode_build_index_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_indexnode_build_index_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_indexnode_build_index_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_indexnode_build_index_latencyDie für den Aufbau von Indizes verwendete Zeit.
Index-Latenzzeit kodierenDie durchschnittliche Latenz und das 99. Perzentil der Zeit, die von jedem Indexknoten für die Codierung von Indexdateien in den letzten zwei Minuten benötigt wurde.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_indexnode_encode_index_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_indexnode_encode_index_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_indexnode_encode_index_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_indexnode_encode_index_latencyDie für die Kodierung von Indexdateien verwendete Zeit.
Index-Latenzzeit speichernDie durchschnittliche Latenzzeit und das 99. Perzentil der Zeit, die von jedem Indexknoten zum Speichern von Indexdateien in den letzten zwei Minuten benötigt wurde.p99:
histogram_quantile(0.99, sum by (le, pod, node_id) (rate(milvus_indexnode_save_index_latency_bucket{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])))
avg:
sum(increase(milvus_indexnode_save_index_latency_sum{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id) / sum(increase(milvus_indexnode_save_index_latency_count{app_kubernetes_io_instance=~"$instance", app_kubernetes_io_name="$app_name", namespace="$namespace"}[2m])) by(pod, node_id)
milvus_indexnode_save_index_latencyDie Zeit, die zum Speichern von Indexdateien verwendet wurde.

Übersetzt vonDeepL

Tabelle der Inhalte

Try Managed Milvus for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
Feedback

War diese Seite hilfreich?