Do Milvus 2.3.x

Este guia fornece um processo abrangente e passo a passo para a migração de dados do Milvus 2.3.x para o Milvus 2.3.x ou superior.

Pré-requisitos

• Versões de software:
  • Milvus de origem: 2.3.0+ (A ferramenta usa o iterador para buscar dados de coleta de origem, exigindo que o Milvus de origem seja a versão 2.3.0 ou superior).
  • Milvus de destino: 2.3.0+
• Ferramentas necessárias:
  • FerramentaMilvus-migration. Para obter detalhes sobre a instalação, consulte Instalar a ferramenta de migração.
• Preparação dos dados:
  • Certifique-se de que a coleção de origem do Milvus está carregada e pronta para a exportação de dados.
  • Se o Milvus de destino não contiver uma coleção correspondente à coleção de origem, a ferramenta milvus-migration cria-a automaticamente. Tenha em atenção que, após a migração, a coleção de destino não será indexada e, posteriormente, terá de indexar manualmente a coleção.

Configurar o ficheiro de migração

Guarde o ficheiro de configuração de migração de exemplo como migration.yaml e modifique as configurações com base nas suas condições reais. Você pode colocar o arquivo de configuração em qualquer diretório local.

dumper:
  worker:
    workMode: milvus2x
    reader:
      bufferSize: 500

meta:
  mode: config
  version: 2.3.0
  collection: src_table_name

source:
  milvus2x:
    endpoint: {milvus2x_domain}:{milvus2x_port}
    username: xxxx
    password: xxxxx

target:
  milvus2x:
    endpoint: {milvus2x_domain}:{milvus2x_port}
    username: xxxx
    password: xxxxx

A tabela a seguir descreve os parâmetros no arquivo de configuração de exemplo. Para obter mais informações, consulte Migração do Milvus: Milvus2.x para Milvus2.x.

• dumper

  Parâmetro	Descrição
  dumper.worker.workMode	O modo operacional da tarefa de migração. Defina como milvus2x quando migrar do Milvus 2.x.
  dumper.worker.reader.bufferSize	Tamanho do buffer a ler do Milvus 2.x em cada lote.

• meta

  Parâmetro	Descrição
  meta.mode	Especifica de onde o meta-arquivo é lido. Definido como config, indicando que a meta configuração pode ser obtida a partir deste ficheiro migration.yaml.
  meta.version	Versão do Milvus de origem. Definido para 2.3.0 ou superior.
  meta.collection	Nome da coleção de origem.

• source

  Parâmetro	Descrição
  source.milvus2x.endpoint	Endereço do servidor Milvus de origem.
  source.milvus2x.username	Nome de utilizador do servidor Milvus de origem. Este parâmetro é necessário se a autenticação do utilizador estiver activada no seu servidor Milvus. Para mais informações, consulte Ativar a autenticação.
  source.milvus2x.password	Password for the source Milvus server (Palavra-passe para o servidor Milvus de origem). Este parâmetro é necessário se a autenticação do utilizador estiver activada no seu servidor Milvus. Para mais informações, consulte Ativar a autenticação.

• target

  Parâmetro	Descrição
  target.milvus2x.endpoint	Endereço do servidor Milvus de destino.
  target.milvus2x.username	Nome de utilizador do servidor Milvus de destino. Este parâmetro é necessário se a autenticação do utilizador estiver activada para o seu servidor Milvus. Para mais informações, consulte Ativar a autenticação.
  target.milvus2x.password	Password for the target Milvus server (Palavra-passe para o servidor Milvus de destino). Este parâmetro é necessário se a autenticação do utilizador estiver activada para o seu servidor Milvus. Para mais informações, consulte Enable Authentication (Ativar autenticação).

Iniciar a tarefa de migração

Tem duas opções para iniciar a tarefa de migração: utilizar o CLI ou efetuar pedidos de API. Escolha a que melhor se adapta às suas necessidades.

Opção 1: Usando a CLI

Inicie a tarefa de migração com o seguinte comando. Substitua {YourConfigFilePath} pelo diretório local onde reside o arquivo de configuração migration.yaml.

./milvus-migration start --config=/{YourConfigFilePath}/migration.yaml

Monitore os logs para atualizações de progresso. Os logs de migração bem-sucedidos devem incluir entradas como:

[INFO] [migration/milvus2x_starter.go:79] ["=================>JobProcess!"] [Percent=100]
[INFO] [migration/milvus2x_starter.go:27] ["[Starter] migration Milvus2x to Milvus2x finish!!!"] [Cost=94.877717375]
[INFO] [starter/starter.go:109] ["[Starter] Migration Success!"] [Cost=94.878243583]

Opção 2: Fazer solicitações de API

Você também pode usar a API Restful para executar a migração. Inicie o servidor da API com:

./milvus-migration server run -p 8080

Depois que o servidor for iniciado com êxito, coloque o arquivo migration.yaml no diretório configs/ do projeto e inicie a migração usando:

curl -XPOST http://localhost:8080/api/v1/start

Verificar o resultado

Depois que a tarefa de migração for concluída, use o Attu para exibir o número de entidades migradas. Além disso, você pode criar índices e carregar coleções no Attu. Para obter mais informações, consulte Attu e get_collection_stats().

Opções de configuração adicionais

Além das configurações básicas mencionadas acima, você também pode adicionar configurações adicionais com base em seus requisitos específicos.

• Migração selectiva de campos: Se precisar de migrar apenas campos específicos numa coleção em vez de todos os campos, especifique os campos a serem migrados na secção meta do ficheiro migration.yaml.

  meta:
    fields:
      - name: id
      - name: title_vector
      - name: reading_time
  

• Coleção de destino personalizada: Para personalizar as propriedades da coleção de destino, adicione as configurações relacionadas na secção meta do ficheiro migration.yaml.

  meta:
    milvus:
      collection: target_collection_name
      shardNum: 2
      closeDynamicField: false
      consistencyLevel: Customized
  

Para obter informações detalhadas, consulte Migração do Milvus: Milvus2.x para Milvus2.x.