milvus-logo
LFAI
Home
  • Migração de Milvus

Do Milvus 2.3.x

Este guia fornece um processo abrangente e passo a passo para a migração de dados do Milvus 2.3.x para o Milvus 2.3.x ou superior.

Pré-requisitos

  • Versões de software:
    • Milvus de origem: 2.3.0+ (A ferramenta usa o iterador para buscar dados de coleta de origem, exigindo que o Milvus de origem seja a versão 2.3.0 ou superior).
    • Milvus de destino: 2.3.0+
  • Ferramentas necessárias:
  • Preparação dos dados:
    • Certifique-se de que a coleção de origem do Milvus está carregada e pronta para a exportação de dados.
    • Se o Milvus de destino não contiver uma coleção correspondente à coleção de origem, a ferramenta milvus-migration cria-a automaticamente. Tenha em atenção que, após a migração, a coleção de destino não será indexada e, posteriormente, terá de indexar manualmente a coleção.

Configurar o ficheiro de migração

Guarde o ficheiro de configuração de migração de exemplo como migration.yaml e modifique as configurações com base nas suas condições reais. Você pode colocar o arquivo de configuração em qualquer diretório local.

dumper:
  worker:
    workMode: milvus2x
    reader:
      bufferSize: 500

meta:
  mode: config
  version: 2.3.0
  collection: src_table_name

source:
  milvus2x:
    endpoint: {milvus2x_domain}:{milvus2x_port}
    username: xxxx
    password: xxxxx

target:
  milvus2x:
    endpoint: {milvus2x_domain}:{milvus2x_port}
    username: xxxx
    password: xxxxx

A tabela a seguir descreve os parâmetros no arquivo de configuração de exemplo. Para obter mais informações, consulte Migração do Milvus: Milvus2.x para Milvus2.x.

  • dumper

    ParâmetroDescrição
    dumper.worker.workModeO modo operacional da tarefa de migração. Defina como milvus2x quando migrar do Milvus 2.x.
    dumper.worker.reader.bufferSizeTamanho do buffer a ler do Milvus 2.x em cada lote.
  • meta

    ParâmetroDescrição
    meta.modeEspecifica de onde o meta-arquivo é lido. Definido como config, indicando que a meta configuração pode ser obtida a partir deste ficheiro migration.yaml.
    meta.versionVersão do Milvus de origem. Definido para 2.3.0 ou superior.
    meta.collectionNome da coleção de origem.
  • source

    ParâmetroDescrição
    source.milvus2x.endpointEndereço do servidor Milvus de origem.
    source.milvus2x.usernameNome de utilizador do servidor Milvus de origem. Este parâmetro é necessário se a autenticação do utilizador estiver activada no seu servidor Milvus. Para mais informações, consulte Ativar a autenticação.
    source.milvus2x.passwordPassword for the source Milvus server (Palavra-passe para o servidor Milvus de origem). Este parâmetro é necessário se a autenticação do utilizador estiver activada no seu servidor Milvus. Para mais informações, consulte Ativar a autenticação.
  • target

    ParâmetroDescrição
    target.milvus2x.endpointEndereço do servidor Milvus de destino.
    target.milvus2x.usernameNome de utilizador do servidor Milvus de destino. Este parâmetro é necessário se a autenticação do utilizador estiver activada para o seu servidor Milvus. Para mais informações, consulte Ativar a autenticação.
    target.milvus2x.passwordPassword for the target Milvus server (Palavra-passe para o servidor Milvus de destino). Este parâmetro é necessário se a autenticação do utilizador estiver activada para o seu servidor Milvus. Para mais informações, consulte Enable Authentication (Ativar autenticação).

Iniciar a tarefa de migração

Tem duas opções para iniciar a tarefa de migração: utilizar o CLI ou efetuar pedidos de API. Escolha a que melhor se adapta às suas necessidades.

Opção 1: Usando a CLI

Inicie a tarefa de migração com o seguinte comando. Substitua {YourConfigFilePath} pelo diretório local onde reside o arquivo de configuração migration.yaml.

./milvus-migration start --config=/{YourConfigFilePath}/migration.yaml

Monitore os logs para atualizações de progresso. Os logs de migração bem-sucedidos devem incluir entradas como:

[INFO] [migration/milvus2x_starter.go:79] ["=================>JobProcess!"] [Percent=100]
[INFO] [migration/milvus2x_starter.go:27] ["[Starter] migration Milvus2x to Milvus2x finish!!!"] [Cost=94.877717375]
[INFO] [starter/starter.go:109] ["[Starter] Migration Success!"] [Cost=94.878243583]

Opção 2: Fazer solicitações de API

Você também pode usar a API Restful para executar a migração. Inicie o servidor da API com:

./milvus-migration server run -p 8080

Depois que o servidor for iniciado com êxito, coloque o arquivo migration.yaml no diretório configs/ do projeto e inicie a migração usando:

curl -XPOST http://localhost:8080/api/v1/start

Verificar o resultado

Depois que a tarefa de migração for concluída, use o Attu para exibir o número de entidades migradas. Além disso, você pode criar índices e carregar coleções no Attu. Para obter mais informações, consulte Attu e get_collection_stats().

Opções de configuração adicionais

Além das configurações básicas mencionadas acima, você também pode adicionar configurações adicionais com base em seus requisitos específicos.

  • Migração selectiva de campos: Se precisar de migrar apenas campos específicos numa coleção em vez de todos os campos, especifique os campos a serem migrados na secção meta do ficheiro migration.yaml.

    meta:
      fields:
        - name: id
        - name: title_vector
        - name: reading_time
    
  • Coleção de destino personalizada: Para personalizar as propriedades da coleção de destino, adicione as configurações relacionadas na secção meta do ficheiro migration.yaml.

    meta:
      milvus:
        collection: target_collection_name
        shardNum: 2
        closeDynamicField: false
        consistencyLevel: Customized
    

Para obter informações detalhadas, consulte Migração do Milvus: Milvus2.x para Milvus2.x.

Traduzido porDeepLogo

Try Managed Milvus for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
Feedback

Esta página foi útil?