Do Milvus 2.3.x
Este guia fornece um processo abrangente e passo a passo para a migração de dados do Milvus 2.3.x para o Milvus 2.3.x ou superior.
Pré-requisitos
- Versões de software:
- Milvus de origem: 2.3.0+ (A ferramenta usa o iterador para buscar dados de coleta de origem, exigindo que o Milvus de origem seja a versão 2.3.0 ou superior).
- Milvus de destino: 2.3.0+
- Ferramentas necessárias:
- FerramentaMilvus-migration. Para obter detalhes sobre a instalação, consulte Instalar a ferramenta de migração.
- Preparação dos dados:
- Certifique-se de que a coleção de origem do Milvus está carregada e pronta para a exportação de dados.
- Se o Milvus de destino não contiver uma coleção correspondente à coleção de origem, a ferramenta milvus-migration cria-a automaticamente. Tenha em atenção que, após a migração, a coleção de destino não será indexada e, posteriormente, terá de indexar manualmente a coleção.
Configurar o ficheiro de migração
Guarde o ficheiro de configuração de migração de exemplo como migration.yaml
e modifique as configurações com base nas suas condições reais. Você pode colocar o arquivo de configuração em qualquer diretório local.
dumper:
worker:
workMode: milvus2x
reader:
bufferSize: 500
meta:
mode: config
version: 2.3.0
collection: src_table_name
source:
milvus2x:
endpoint: {milvus2x_domain}:{milvus2x_port}
username: xxxx
password: xxxxx
target:
milvus2x:
endpoint: {milvus2x_domain}:{milvus2x_port}
username: xxxx
password: xxxxx
A tabela a seguir descreve os parâmetros no arquivo de configuração de exemplo. Para obter mais informações, consulte Migração do Milvus: Milvus2.x para Milvus2.x.
dumper
Parâmetro Descrição dumper.worker.workMode
O modo operacional da tarefa de migração. Defina como milvus2x quando migrar do Milvus 2.x. dumper.worker.reader.bufferSize
Tamanho do buffer a ler do Milvus 2.x em cada lote. meta
Parâmetro Descrição meta.mode
Especifica de onde o meta-arquivo é lido. Definido como config, indicando que a meta configuração pode ser obtida a partir deste ficheiro migration.yaml. meta.version
Versão do Milvus de origem. Definido para 2.3.0 ou superior. meta.collection
Nome da coleção de origem. source
Parâmetro Descrição source.milvus2x.endpoint
Endereço do servidor Milvus de origem. source.milvus2x.username
Nome de utilizador do servidor Milvus de origem. Este parâmetro é necessário se a autenticação do utilizador estiver activada no seu servidor Milvus. Para mais informações, consulte Ativar a autenticação. source.milvus2x.password
Password for the source Milvus server (Palavra-passe para o servidor Milvus de origem). Este parâmetro é necessário se a autenticação do utilizador estiver activada no seu servidor Milvus. Para mais informações, consulte Ativar a autenticação. target
Parâmetro Descrição target.milvus2x.endpoint
Endereço do servidor Milvus de destino. target.milvus2x.username
Nome de utilizador do servidor Milvus de destino. Este parâmetro é necessário se a autenticação do utilizador estiver activada para o seu servidor Milvus. Para mais informações, consulte Ativar a autenticação. target.milvus2x.password
Password for the target Milvus server (Palavra-passe para o servidor Milvus de destino). Este parâmetro é necessário se a autenticação do utilizador estiver activada para o seu servidor Milvus. Para mais informações, consulte Enable Authentication (Ativar autenticação).
Iniciar a tarefa de migração
Tem duas opções para iniciar a tarefa de migração: utilizar o CLI ou efetuar pedidos de API. Escolha a que melhor se adapta às suas necessidades.
Opção 1: Usando a CLI
Inicie a tarefa de migração com o seguinte comando. Substitua {YourConfigFilePath}
pelo diretório local onde reside o arquivo de configuração migration.yaml
.
./milvus-migration start --config=/{YourConfigFilePath}/migration.yaml
Monitore os logs para atualizações de progresso. Os logs de migração bem-sucedidos devem incluir entradas como:
[INFO] [migration/milvus2x_starter.go:79] ["=================>JobProcess!"] [Percent=100]
[INFO] [migration/milvus2x_starter.go:27] ["[Starter] migration Milvus2x to Milvus2x finish!!!"] [Cost=94.877717375]
[INFO] [starter/starter.go:109] ["[Starter] Migration Success!"] [Cost=94.878243583]
Opção 2: Fazer solicitações de API
Você também pode usar a API Restful para executar a migração. Inicie o servidor da API com:
./milvus-migration server run -p 8080
Depois que o servidor for iniciado com êxito, coloque o arquivo migration.yaml
no diretório configs/
do projeto e inicie a migração usando:
curl -XPOST http://localhost:8080/api/v1/start
Verificar o resultado
Depois que a tarefa de migração for concluída, use o Attu para exibir o número de entidades migradas. Além disso, você pode criar índices e carregar coleções no Attu. Para obter mais informações, consulte Attu e get_collection_stats().
Opções de configuração adicionais
Além das configurações básicas mencionadas acima, você também pode adicionar configurações adicionais com base em seus requisitos específicos.
Migração selectiva de campos: Se precisar de migrar apenas campos específicos numa coleção em vez de todos os campos, especifique os campos a serem migrados na secção
meta
do ficheiromigration.yaml
.meta: fields: - name: id - name: title_vector - name: reading_time
Coleção de destino personalizada: Para personalizar as propriedades da coleção de destino, adicione as configurações relacionadas na secção
meta
do ficheiromigration.yaml
.meta: milvus: collection: target_collection_name shardNum: 2 closeDynamicField: false consistencyLevel: Customized
Para obter informações detalhadas, consulte Migração do Milvus: Milvus2.x para Milvus2.x.