Configurar Grafana Loki

Esta guía proporciona instrucciones sobre cómo configurar Loki para recopilar registros y Grafana para consultar y mostrar registros para un clúster Milvus.

En esta guía, aprenderá a:

• Desplegar Loki y Promtail en un clúster Milvus utilizando Helm.
• Configurar el almacenamiento de objetos para Loki.
• Consultar registros utilizando Grafana.

Requisitos previos

• Ha instalado un clúster Milvus en K8s.
• Ha instalado las herramientas necesarias, incluyendo Helm y Kubectl.

Despliegue de Loki

Loki es un sistema de agregación de registros inspirado en Prometheus. Despliegue Loki utilizando Helm para recopilar registros de su cluster Milvus.

1. Añade el repositorio de gráficos Helm de Grafana

Añade el repositorio de gráficos de Grafana a Helm y actualízalo:

helm repo add grafana https://grafana.github.io/helm-charts
helm repo update

2. Configurar Almacenamiento de Objetos para Loki

Elige una de las siguientes opciones de almacenamiento y crea un archivo de configuración loki.yaml:

• Opción 1: Usar MinIO para el almacenamiento

  loki:
    commonConfig:
      replication_factor: 1
    auth_enabled: false
  
  minio:
    enabled: true
  

• Opción 2: Usar AWS S3 para almacenamiento

  En el siguiente ejemplo, sustituye <accessKey> y <keyId> por tu propia clave de acceso e ID de S3, s3.endpoint por el endpoint de S3 y s3.region por la región de S3.

  loki:
    commonConfig:
      replication_factor: 1
    auth_enabled: false
    storage:
      bucketNames:
        chunks: loki-chunks
        ruler: loki-ruler
        admin: loki-admin
      type: 's3'
      s3:
        endpoint: s3.us-west-2.amazonaws.com
        region: us-west-2
        secretAccessKey: <accessKey>
        accessKeyId: <keyId>
  

3. Instala Loki

Ejecuta los siguientes comandos para instalar Loki:

kubectl create ns loki
helm install --values loki.yaml loki grafana/loki -n loki

Desplegar Promtail

Promtail es un agente de recolección de registros para Loki. Lee los registros de los pods Milvus y los envía a Loki.

1. Crear la configuración de Promtail

Cree un archivo de configuración promtail.yaml:

config:
  clients:
    - url: http://loki-gateway/loki/api/v1/push

2. Instalar Promtail

Instalar Promtail usando Helm:

helm install  --values promtail.yaml promtail grafana/promtail -n loki

Consulta de Logs con Grafana

Despliegue Grafana y configúrelo para conectarse a Loki para consultar registros.

1. Despliegue de Grafana

Instala Grafana usando los siguientes comandos:

kubectl create ns monitoring
helm install my-grafana grafana/grafana --namespace monitoring

Antes de poder acceder a Grafana, necesitas recuperar la contraseña de admin:

kubectl get secret --namespace monitoring my-grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo

Luego, reenvía el puerto de Grafana a tu máquina local:

export POD_NAME=$(kubectl get pods --namespace monitoring -l "app.kubernetes.io/name=grafana,app.kubernetes.io/instance=my-grafana" -o jsonpath="{.items[0].metadata.name}")
kubectl --namespace monitoring port-forward $POD_NAME 3000

2. Añade Loki como fuente de datos en Grafana

Una vez que Grafana se está ejecutando, es necesario agregar Loki como una fuente de datos para consultar los registros.

1. Abre un navegador web y navega a 127.0.0.1:3000. Inicia sesión con el nombre de usuario admin y la contraseña obtenida anteriormente.
2. En el menú de la izquierda, selecciona Conexiones > Añadir nueva conexión.
3. En la página que aparece, seleccione Loki como tipo de fuente de datos. Puede introducir loki en la barra de búsqueda para encontrar la fuente de datos.
4. En la configuración de la fuente de datos Loki, especifique el Nombre y la URL y, a continuación, haga clic en Guardar y probar.

Fuente de datos

3. Consulta de registros Milvus

Después de añadir Loki como fuente de datos, consulte los registros de Milvus en Grafana:

1. En el menú de la izquierda, haz clic en Explorar.
2. En la esquina superior izquierda de la página, seleccione la fuente de datos loki.
3. Utilice el explorador de etiquetas para seleccionar las etiquetas y consultar los registros.

Consulta