Uso de Milvus embebido para instalar y ejecutar instantáneamente Milvus con Python

Portada

Este artículo ha sido escrito por Alex Gao y Angela Ni.

Milvus es una base de datos vectorial de código abierto para aplicaciones de IA. Ofrece una variedad de métodos de instalación, incluyendo la construcción desde el código fuente y la instalación de Milvus con Docker Compose/Helm/APT/YUM/Ansible. Los usuarios pueden elegir uno de los métodos de instalación en función de sus sistemas operativos y preferencias. Sin embargo, hay muchos científicos de datos e ingenieros de IA en la comunidad Milvus que trabajan con Python y anhelan un método de instalación mucho más simple que los disponibles actualmente.

Por lo tanto, lanzamos Milvus embebido, una versión de Python fácil de usar, junto con Milvus 2.1 para empoderar a más desarrolladores de Python en nuestra comunidad. Este artículo presenta qué es Milvus embebido y proporciona instrucciones sobre cómo instalarlo y utilizarlo.

Ir a:

• Una visión general de Milvus embebido
  • ¿Cuándo utilizar Milvus incrustado?
  • Comparación de los distintos modos de Milvus
• Cómo instalar Milvus integrado
• Iniciar y detener Milvus integrado

Visión general de Milvus integrado

Milvusincrustado le permite instalar y utilizar rápidamente Milvus con Python. Puede crear rápidamente una instancia de Milvus y le permite iniciar y detener el servicio Milvus cuando lo desee. Todos los datos y registros se conservan incluso si detiene Milvus incrustado.

Milvus incrustado no tiene dependencias internas y no requiere preinstalar y ejecutar dependencias de terceros como etcd, MinIO, Pulsar, etc.

Todo lo que haga con Milvus embebido, y cada pieza de código que escriba para él se puede migrar con seguridad a otros modos de Milvus - independiente, clúster, versión en la nube, etc. Esto refleja una de las características más distintivas de Milvus embebido - "Escribir una vez, ejecutar en cualquier lugar".

¿Cuándo utilizar Milvus embebido?

Milvus embebido y PyMilvus están construidos para diferentes propósitos. Puede considerar elegir Milvus embebido en los siguientes escenarios:

• Quiere usar Milvus sin instalar Milvus de ninguna de las formas que se proporcionan aquí.

• Quiere utilizar Milvus sin mantener un proceso Milvus de larga duración en su máquina.

• Quiere utilizar Milvus rápidamente sin iniciar un proceso Milvus separado y otros componentes necesarios como etcd, MinIO, Pulsar, etc.

Se sugiere que NO utilice Milvus incrustado:

• En un entorno de producción.(Para utilizar Milvus para producción, considere Milvus cluster o Zilliz cloud, un servicio Milvus totalmente gestionado).

• Si tiene una gran demanda de rendimiento.(Comparativamente hablando, Milvus incrustado podría no proporcionar el mejor rendimiento).

Comparación de los distintos modos de Milvus

La siguiente tabla compara varios modos de Milvus: independiente, clúster, Milvus integrado y la Nube de Zilliz, un servicio Milvus totalmente gestionado.

comparación

¿Cómo instalar Milvus integrado?

Antes de instalar Milvus embebido, debe asegurarse de que tiene instalado Python 3.6 o posterior. Embedded Milvus es compatible con los siguientes sistemas operativos:

• Ubuntu 18.04

• Mac x86_64 >= 10.4

• Mac M1 >= 11.0

Si se cumplen los requisitos, puede ejecutar $ python3 -m pip install milvus para instalar Milvus embebido. También puede añadir la versión en el comando para instalar una versión específica de Milvus embebido. Por ejemplo, si desea instalar la versión 2.1.0, ejecute $ python3 -m pip install milvus==2.1.0. Y más tarde, cuando se publique una nueva versión de Milvus embebido, también puede ejecutar $ python3 -m pip install --upgrade milvus para actualizar Milvus embebido a la última versión.

Si usted es un antiguo usuario de Milvus que ya ha instalado PyMilvus anteriormente y desea instalar Milvus embebido, puede ejecutar $ python3 -m pip install --no-deps milvus.

Después de ejecutar el comando de instalación, necesita crear una carpeta de datos para Milvus embebido bajo /var/bin/e-milvus ejecutando el siguiente comando:

sudo mkdir -p /var/bin/e-milvus
sudo chmod -R 777 /var/bin/e-milvus

Iniciar y detener Milvus incrustado

Cuando la instalación se haya realizado correctamente, podrá iniciar el servicio.

Si es la primera vez que ejecuta Milvus incrustado, primero debe importar Milvus y configurar Milvus incrustado.

$ python3
Python 3.9.10 (main, Jan 15 2022, 11:40:53)
[Clang 13.0.0 (clang-1300.0.29.3)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import milvus
>>> milvus.before()
please do the following if you have not already done so:
1. install required dependencies: bash /var/bin/e-milvus/lib/install_deps.sh
2. export LD_PRELOAD=/SOME_PATH/embd-milvus.so
3. export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib:/usr/local/lib:/var/bin/e-milvus/lib/
>>>

Si ha iniciado con éxito Milvus incrustado antes y vuelve a reiniciarlo, puede ejecutar directamente milvus.start() después de importar Milvus.

$ python3
Python 3.9.10 (main, Jan 15 2022, 11:40:53)
[Clang 13.0.0 (clang-1300.0.29.3)] on darwinType "help", "copyright", "credits" or "license" for more information.
>>> import milvus
>>> milvus.start()
>>>

Verá la siguiente salida si ha iniciado correctamente el servicio Milvus incrustado.

---Milvus Proxy successfully initialized and ready to serve!---

Después de que se inicie el servicio, puede iniciar otra ventana de terminal y ejecutar el código de ejemplo de "Hola Milvus" para jugar con Milvus embebido.

# Download hello_milvus script
$ wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.1.0/examples/hello_milvus.py
# Run Hello Milvus 
$ python3 hello_milvus.py

Cuando haya terminado de utilizar Milvus incrustado, le recomendamos que lo detenga y limpie las variables de entorno ejecutando el siguiente comando o pulsando Ctrl-D.

>>> milvus.stop()
if you need to clean up the environment variables, run:
export LD_PRELOAD=
export LD_LIBRARY_PATH=
>>>
>>> exit()

Próximos pasos

Con el lanzamiento oficial de Milvus 2.1, hemos preparado una serie de blogs presentando las nuevas características. Lea más en esta serie de blogs:

• Cómo utilizar datos de cadenas para potenciar sus aplicaciones de búsqueda por similitud
• Uso de Milvus integrado para instalar y ejecutar Milvus con Python de forma instantánea
• Aumente el rendimiento de lectura de su base de datos vectorial con réplicas en memoria
• Comprender el nivel de consistencia en la base de datos vectorial Milvus
• Comprender el nivel de consistencia en la base de datos vectorial de Milvus (Parte II)
• ¿Cómo Garantiza la Seguridad de los Datos la Base de Datos Vectorial de Milvus?