Presentamos Milvus Lite: la versión ligera de Milvus

Nota importante

Actualizamos Milvus Lite en junio de 2024, lo que permite a los desarrolladores de IA crear aplicaciones más rápido al tiempo que garantiza una experiencia coherente en varias opciones de implementación, incluidos Milvus en Kurbernetes, Docker y servicios gestionados en la nube. Milvus Lite también se integra con varios marcos y tecnologías de IA, agilizando el desarrollo de aplicaciones de IA con capacidades de búsqueda vectorial. Para obtener más información, consulte las siguientes referencias:

• Blog de lanzamiento de Milvus Lite: https://milvus.io/blog/introducing-milvus-lite.md

• Documentación de Milvus Lite: https://milvus.io/docs/quickstart.md

• Repositorio GitHub de Milvus Lite: https://github.com/milvus-io/milvus-lite

Milvus es una base de datos vectorial de código abierto creada específicamente para indexar, almacenar y consultar vectores de incrustación generados por redes neuronales profundas y otros modelos de aprendizaje automático (ML) a miles de millones de escalas. Se ha convertido en una opción popular para muchas empresas, investigadores y desarrolladores que deben realizar búsquedas de similitud en conjuntos de datos a gran escala.

Sin embargo, algunos usuarios pueden encontrar la versión completa de Milvus demasiado pesada o compleja. Para solucionar este problema, Bin Ji, uno de los colaboradores más activos de la comunidad Milvus, creó Milvus Lite, una versión ligera de Milvus.

¿Qué es Milvus Lite?

Como se ha mencionado anteriormente, Milvus Lite es una alternativa simplificada a Milvus que ofrece muchas ventajas y beneficios.

• Puede integrarlo en su aplicación Python sin añadir peso adicional.
• Es autónomo y no requiere otras dependencias, gracias a la capacidad de Milvus independiente para trabajar con Etcd embebidos y almacenamiento local.
• Puede importarlo como una biblioteca de Python y utilizarlo como un servidor independiente basado en una interfaz de línea de comandos (CLI).
• Funciona sin problemas con Google Colab y Jupyter Notebook.
• Puede migrar con seguridad su trabajo y escribir código en otras instancias de Milvus (versiones independientes, en clúster y totalmente gestionadas) sin riesgo de perder datos.

¿Cuándo debería utilizar Milvus Lite?

En concreto, Milvus Lite es más útil en las siguientes situaciones:

• Cuando prefiere utilizar Milvus sin técnicas y herramientas de contenedores como Milvus Operator, Helm o Docker Compose.
• Cuando no necesita máquinas virtuales o contenedores para utilizar Milvus.
• Cuando desea incorporar características de Milvus en sus aplicaciones Python.
• Cuando quiera poner en marcha una instancia de Milvus en Colab o Notebook para un experimento rápido.

Nota: No recomendamos utilizar Milvus Lite en ningún entorno de producción o si necesita alto rendimiento, fuerte disponibilidad o alta escalabilidad. En su lugar, considere el uso de clusters Milvus o Milvus totalmente gestionado en Zilliz Cloud para producción.

¿Cómo empezar con Milvus Lite?

Ahora, echemos un vistazo a cómo instalar, configurar y utilizar Milvus Lite.

Requisitos previos

Para utilizar Milvus Lite, asegúrese de haber cumplido los siguientes requisitos:

• Instalado Python 3.7 o una versión posterior.
• Utilizar uno de los sistemas operativos verificados que se enumeran a continuación:
  • Ubuntu >= 18.04 (x86_64)
  • CentOS >= 7.0 (x86_64)
  • MacOS >= 11.0 (Apple Silicon)

Notas:

1. Milvus Lite utiliza manylinux2014 como imagen base, por lo que es compatible con la mayoría de las distribuciones de Linux para usuarios de Linux.
2. También es posible ejecutar Milvus Lite en Windows, aunque aún no se ha verificado completamente.

Instalar Milvus Lite

Milvus Lite está disponible en PyPI por lo que puede instalarlo a través de pip.

$ python3 -m pip install milvus

También puede instalarlo con PyMilvus de la siguiente manera:

$ python3 -m pip install milvus[client]

Utilice e inicie Milvus Lite

Descargue el cuaderno de ejemplo de la carpeta de ejemplos de nuestro repositorio de proyectos. Tiene dos opciones para utilizar Milvus Lite: importarlo como una biblioteca de Python o ejecutarlo como un servidor independiente en su máquina utilizando la CLI.

• Para iniciar Milvus Lite como un módulo Python, ejecute los siguientes comandos:

from milvus import default_server
from pymilvus import connections, utility

# Start your milvus server
default_server.start()

# Now you can connect with localhost and the given port
# Port is defined by default_server.listen_port
connections.connect(host='127.0.0.1', port=default_server.listen_port)

# Check if the server is ready.
print(utility.get_server_version())

# Stop your milvus server
default_server.stop()

• Para suspender o detener Milvus Lite, utilice la sentencia with.

from milvus import default_server

with default_server:
  # Milvus Lite has already started, use default_server here.
  connections.connect(host='127.0.0.1', port=default_server.listen_port)

• Para iniciar Milvus Lite como un servidor autónomo basado en CLI, ejecute el siguiente comando:

milvus-server

Después de iniciar Milvus Lite, puede utilizar PyMilvus u otras herramientas que prefiera para conectarse al servidor autónomo.

Iniciar Milvus Lite en modo de depuración

• Para ejecutar Milvus Lite en un modo de depuración como un Módulo Python, ejecute los siguientes comandos:

from milvus import debug_server, MilvusServer

debug_server.run()

# Or you can create a MilvusServer by yourself
# server = MilvusServer(debug=True)

• Para ejecutar el servidor independiente en modo de depuración, ejecute el siguiente comando:

milvus-server --debug

Persistir datos y registros

• Para crear un directorio local para Milvus Lite que contendrá todos los datos y registros relevantes, ejecute los siguientes comandos:

from milvus import default_server

with default_server:
  default_server.set_base_dir('milvus_data')

• Para persistir todos los datos y registros generados por el servidor autónomo en su unidad local, ejecute el siguiente comando:

$ milvus-server --data milvus_data

Configurar Milvus Lite

Configurar Milvus Lite es similar a configurar instancias de Milvus utilizando las API de Python o la CLI.

• Para configurar Milvus Lite utilizando las API de Python, utilice la API config.set de una instancia MilvusServer tanto para la configuración básica como para la adicional:

from milvus import default_server

with default_server:
  default_server.config.set('system_Log_level', 'info')
  default_server.config.set('proxy_port', 19531)
  default_server.config.set('dataCoord.segment.maxSize', 1024)

• Para configurar Milvus Lite utilizando CLI, ejecute el siguiente comando para las configuraciones básicas:

$ milvus-server --system-log-level info
$ milvus-server --proxy-port 19531

• O, ejecute lo siguiente para configuraciones extra.

$ milvus-server --extra-config dataCoord.segment.maxSize=1024

Todos los elementos configurables se encuentran en la plantilla config.yaml enviada con el paquete Milvus.

Para más detalles técnicos sobre cómo instalar y configurar Milvus Lite, consulte nuestra documentación.

Resumen

Milvus Lite es una excelente opción para aquellos que buscan las capacidades de Milvus en un formato compacto. Si usted es un investigador, desarrollador o científico de datos, vale la pena explorar esta opción.

Milvus Lite es también una hermosa adición a la comunidad de código abierto, mostrando el extraordinario trabajo de sus colaboradores. Gracias a los esfuerzos de Bin Ji, Milvus está ahora disponible para más usuarios. Estamos impacientes por ver las ideas innovadoras que Bin Ji y otros miembros de la comunidad Milvus aportarán en el futuro.

¡Sigamos en contacto!

Si tiene problemas para instalar o utilizar Milvus Lite, puede presentar una incidencia aquí o ponerse en contacto con nosotros a través de Twitter o LinkedIn. También puede unirse a nuestro canal de Slack para charlar con nuestros ingenieros y con toda la comunidad, o consultar nuestro horario de oficina de los martes.