Utilizar RocksMQ como cola de mensajes de Milvus

RocksMQ es una cola de mensajes integrada (WAL) incluida con Milvus, disponible únicamente para Milvus Standalone. Era la cola de mensajes predeterminada en versiones anteriores de Milvus; en Milvus 3.x, Milvus Standalone utiliza Woodpecker integrado de forma predeterminada.

Compatibilidad de versiones

• Solo para la versión Standalone: RocksMQ no es compatible con Milvus Distributed (clúster). Consulta la matriz de compatibilidad de colas de mensajes.
• RocksMQ se incluye con Milvus, por lo que no es necesario instalar ninguna versión por separado.
• Era la cola de mensajes predeterminada para la versión independiente en versiones anteriores de Milvus, y en Milvus 3.x ha sido sustituida por Woodpecker integrado.

Implementar Milvus Standalone con RocksMQ mediante Docker

Instalación

Sigue las instrucciones de «Ejecutar Milvus en Docker». En Milvus 3.x, la opción predeterminada para la versión independiente es Woodpecker, por lo que debes cambiar explícitamente el tipo de cola de mensajes a RocksMQ. El script de arranque escribe un nuevo archivo « user.yaml » en el primer inicio ( start), así que configura el tipo tras ese primer inicio y, a continuación, ejecuta « restart » para aplicar los cambios (un « restart » conserva « user.yaml »):

mkdir milvus-rocksmq && cd milvus-rocksmq
curl -sfL https://raw.githubusercontent.com/milvus-io/milvus/master/scripts/standalone_embed.sh -o standalone_embed.sh

# 1. First start — boots the container and writes a default user.yaml
bash standalone_embed.sh start

# 2. Set the message queue to RocksMQ
cat > user.yaml <<'EOF'
mq:
  type: rocksmq
EOF

# 3. Restart to apply the change
bash standalone_embed.sh restart

Configuración

Para ajustar RocksMQ, añade una sección « rocksmq » al archivo « user.yaml » y reinicia el servicio:

mq:
  type: rocksmq
rocksmq:
  path: /var/lib/milvus/rdb_data   # where messages are stored
  lrucacheratio: 0.06              # rocksdb cache memory ratio
  rocksmqPageSize: 67108864        # 64 MB, size of each message page
  retentionTimeInMinutes: 4320     # 3 days
  retentionSizeInMB: 8192          # 8 GB
  compactionInterval: 86400        # 1 day, trigger rocksdb compaction
  compressionTypes: [0, 0, 7, 7, 7]

bash standalone_embed.sh restart

Desinstalar

bash standalone_embed.sh stop
bash standalone_embed.sh delete

Notas

• Actualización de la versión 2.5.x a la 2.6.x: Limitaciones de la cola de mensajes: Al actualizar a Milvus v3.0.0, debes mantener tu elección actual de cola de mensajes. No se admite el cambio entre diferentes sistemas de colas de mensajes durante la actualización. La compatibilidad con el cambio de sistemas de colas de mensajes estará disponible en futuras versiones. Dado que la versión 2.6.x cambia la configuración predeterminada para la versión independiente a Woodpecker, fije mq.type: rocksmq en su archivo user.yaml antes de actualizar si desea conservar RocksMQ.
• Para cambiar la cola de mensajes de una instancia en ejecución, consulta Cambiar de RocksMQ a Woodpecker.

Próximos pasos

• Woodpecker (cola de mensajes predeterminada)
• Cambiar de RocksMQ a Woodpecker