Usando o Embedded Milvus para instalar e executar instantaneamente o Milvus com Python
Capa
O Milvus é uma base de dados vetorial de código aberto para aplicações de IA. Ele fornece uma variedade de métodos de instalação, incluindo a construção a partir do código-fonte e a instalação do Milvus com o Docker Compose/Helm/APT/YUM/Ansible. Os utilizadores podem escolher um dos métodos de instalação, dependendo dos seus sistemas operativos e preferências. No entanto, existem muitos cientistas de dados e engenheiros de IA na comunidade Milvus que trabalham com Python e anseiam por um método de instalação muito mais simples do que os atualmente disponíveis.
Por isso, lançámos o Milvus incorporado, uma versão Python de fácil utilização, juntamente com o Milvus 2.1 para capacitar mais programadores Python na nossa comunidade. Este artigo apresenta o que é o Milvus incorporado e fornece instruções sobre como o instalar e utilizar.
Saltar para:
- Uma visão geral do Milvus incorporado
- Como instalar o Milvus embutido
- Iniciar e parar o Milvus incorporado
Uma visão geral do Milvus incorporado
O Mil vus embutido permite-lhe instalar e usar rapidamente o Milvus com Python. Pode abrir rapidamente uma instância do Milvus e permite-lhe iniciar e parar o serviço Milvus sempre que desejar. Todos os dados e registos são mantidos mesmo que se pare o Milvus incorporado.
O Milvus incorporado não tem dependências internas e não requer a pré-instalação e execução de dependências de terceiros como etcd, MinIO, Pulsar, etc.
Tudo o que faz com o Milvus embebido, e cada pedaço de código que escreve para ele pode ser migrado com segurança para outros modos do Milvus - standalone, cluster, versão cloud, etc. Isto reflecte uma das caraterísticas mais distintivas do Milvus incorporado - "Escreva uma vez, execute em qualquer lugar".
Quando usar o Milvus incorporado?
O Milvus incorporado e o PyMilvus são construídos para diferentes objectivos. Você pode considerar escolher o Milvus embutido nos seguintes cenários:
Você quer usar o Milvus sem instalar o Milvus de nenhuma das formas fornecidas aqui.
Você quer usar o Milvus sem manter um processo Milvus de longa duração na sua máquina.
Quer usar o Milvus rapidamente sem iniciar um processo Milvus separado e outros componentes necessários como etcd, MinIO, Pulsar, etc.
Sugere-se que NÃO use o Milvus incorporado:
Num ambiente de produção.(Para usar o Milvus em produção, considere o cluster Milvus ou a nuvem Zilliz, um serviço Milvus totalmente gerido).
Se tiver uma elevada exigência de desempenho.(Em termos comparativos, o Milvus incorporado pode não fornecer o melhor desempenho).
Uma comparação entre os diferentes modos do Milvus
A tabela abaixo compara vários modos de Milvus: autónomo, cluster, Milvus incorporado e o Zilliz Cloud, um serviço Milvus totalmente gerido.
comparação
Como instalar o Milvus embebido?
Antes de instalar o Milvus incorporado, é necessário garantir que tem instalado o Python 3.6 ou posterior. O Milvus incorporado suporta os seguintes sistemas operativos:
Ubuntu 18.04
Mac x86_64 >= 10.4
Mac M1 >= 11.0
Se os requisitos forem cumpridos, pode executar $ python3 -m pip install milvus
para instalar o Milvus incorporado. Também é possível adicionar a versão no comando para instalar uma versão específica do Milvus incorporado. Por exemplo, se quiser instalar a versão 2.1.0, execute $ python3 -m pip install milvus==2.1.0
. E mais tarde, quando for lançada uma nova versão do Milvus incorporado, pode também executar $ python3 -m pip install --upgrade milvus
para atualizar o Milvus incorporado para a versão mais recente.
Se você é um usuário antigo do Milvus que já instalou o PyMilvus antes e quer instalar o Milvus embutido, você pode executar $ python3 -m pip install --no-deps milvus
.
Depois de executar o comando de instalação, é necessário criar uma pasta de dados para o Milvus incorporado em /var/bin/e-milvus
executando o seguinte comando:
sudo mkdir -p /var/bin/e-milvus
sudo chmod -R 777 /var/bin/e-milvus
Iniciar e parar o Milvus incorporado
Quando a instalação for bem-sucedida, você poderá iniciar o serviço.
Se estiver a executar o Milvus incorporado pela primeira vez, tem de importar o Milvus e configurar o Milvus incorporado primeiro.
$ python3
Python 3.9.10 (main, Jan 15 2022, 11:40:53)
[Clang 13.0.0 (clang-1300.0.29.3)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import milvus
>>> milvus.before()
please do the following if you have not already done so:
1. install required dependencies: bash /var/bin/e-milvus/lib/install_deps.sh
2. export LD_PRELOAD=/SOME_PATH/embd-milvus.so
3. export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib:/usr/local/lib:/var/bin/e-milvus/lib/
>>>
Se já tiver iniciado o Milvus incorporado com êxito e voltar a reiniciá-lo, pode executar diretamente milvus.start()
depois de importar o Milvus.
$ python3
Python 3.9.10 (main, Jan 15 2022, 11:40:53)
[Clang 13.0.0 (clang-1300.0.29.3)] on darwinType "help", "copyright", "credits" or "license" for more information.
>>> import milvus
>>> milvus.start()
>>>
Verá o seguinte resultado se tiver iniciado com êxito o serviço Milvus incorporado.
---Milvus Proxy successfully initialized and ready to serve!---
Após o início do serviço, pode iniciar outra janela de terminal e executar o código de exemplo de "Hello Milvus" para brincar com o Milvus incorporado!
# Download hello_milvus script
$ wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.1.0/examples/hello_milvus.py
# Run Hello Milvus
$ python3 hello_milvus.py
Quando terminar de usar o Milvus incorporado, recomendamos pará-lo graciosamente e limpar as variáveis de ambiente executando o seguinte comando ou pressionando Ctrl-D.
>>> milvus.stop()
if you need to clean up the environment variables, run:
export LD_PRELOAD=
export LD_LIBRARY_PATH=
>>>
>>> exit()
O que vem a seguir
Com o lançamento oficial do Milvus 2.1, preparámos uma série de blogues que apresentam as novas funcionalidades. Leia mais nesta série de blogues:
- Como utilizar dados de cadeias de caracteres para potenciar as suas aplicações de pesquisa por semelhança
- Usando o Embedded Milvus para instalar e executar instantaneamente o Milvus com Python
- Aumente a taxa de transferência de leitura do seu banco de dados vetorial com réplicas na memória
- Entendendo o nível de consistência no banco de dados vetorial do Milvus
- Entendendo o nível de consistência no banco de dados vetorial do Milvus (Parte II)
- Como o banco de dados vetorial do Milvus garante a segurança dos dados?
- Uma visão geral do Milvus incorporado
- Como instalar o Milvus embebido?
- Iniciar e parar o Milvus incorporado
- O que vem a seguir
On This Page
Try Managed Milvus for Free
Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.
Get StartedLike the article? Spread the word