Da Milvus 2.3.x

Questa guida fornisce un processo completo, passo dopo passo, per la migrazione dei dati da Milvus 2.3.x a Milvus 2.3.x o superiore.

Prerequisiti

• Versioni software:
  • Milvus di origine: 2.3.0+ (lo strumento utilizza l'iteratore per recuperare i dati della raccolta di origine, il che richiede che Milvus di origine sia la versione 2.3.0 o superiore).
  • Milvus di destinazione: 2.3.0+
• Strumenti necessari:
  • StrumentoMilvus-migrazione. Per i dettagli sull'installazione, vedere Installazione dello strumento di migrazione.
• Preparazione dei dati:
  • Assicurarsi che la collezione Milvus di origine sia caricata e pronta per l'esportazione dei dati.
  • Se il Milvus di destinazione non contiene una raccolta corrispondente alla raccolta di origine, lo strumento milvus-migration la creerà automaticamente. Si noti che dopo la migrazione, la collezione di destinazione non sarà indicizzata; è necessario indicizzare manualmente la collezione in seguito.

Configurare il file di migrazione

Salvare il file di configurazione della migrazione di esempio come migration.yaml e modificare le configurazioni in base alle condizioni reali. Il file di configurazione può essere collocato in qualsiasi directory locale.

dumper:
  worker:
    workMode: milvus2x
    reader:
      bufferSize: 500

meta:
  mode: config
  version: 2.3.0
  collection: src_table_name

source:
  milvus2x:
    endpoint: {milvus2x_domain}:{milvus2x_port}
    username: xxxx
    password: xxxxx

target:
  milvus2x:
    endpoint: {milvus2x_domain}:{milvus2x_port}
    username: xxxx
    password: xxxxx

La tabella seguente descrive i parametri del file di configurazione di esempio. Per ulteriori informazioni, consultare Milvus Migration: Milvus2.x a Milvus2.x.

• dumper

  Parametro	Descrizione
  dumper.worker.workMode	Modalità operativa del lavoro di migrazione. Impostare su milvus2x quando si migra da Milvus 2.x.
  dumper.worker.reader.bufferSize	Dimensione del buffer da leggere da Milvus 2.x in ogni batch.

• meta

  Parametro	Descrizione
  meta.mode	Specifica da dove viene letto il metafile. Impostato su config, indica che il metaconfig può essere ottenuto da questo file migration.yaml.
  meta.version	Versione di Milvus di origine. Impostare su 2.3.0 o superiore.
  meta.collection	Nome della collezione di origine.

• source

  Parametro	Descrizione
  source.milvus2x.endpoint	Indirizzo del server Milvus di origine.
  source.milvus2x.username	Nome utente del server Milvus di origine. Questo parametro è necessario se l'autenticazione utente è abilitata per il server Milvus. Per ulteriori informazioni, consultare Abilita autenticazione.
  source.milvus2x.password	Password del server Milvus di origine. Questo parametro è necessario se l'autenticazione dell'utente è abilitata per il vostro server Milvus. Per ulteriori informazioni, consultare Abilita autenticazione.

• target

  Parametro	Descrizione
  target.milvus2x.endpoint	Indirizzo del server Milvus di destinazione.
  target.milvus2x.username	Nome utente del server Milvus di destinazione. Questo parametro è necessario se l'autenticazione utente è abilitata per il server Milvus. Per ulteriori informazioni, consultare Abilita autenticazione.
  target.milvus2x.password	Password per il server Milvus di destinazione. Questo parametro è necessario se l'autenticazione dell'utente è abilitata per il server Milvus. Per ulteriori informazioni, consultare Abilita autenticazione.

Avvio dell'attività di migrazione

Per avviare l'attività di migrazione sono disponibili due opzioni: utilizzare la CLI o effettuare richieste API. Scegliete quella più adatta alle vostre esigenze.

Opzione 1: Utilizzo della CLI

Avviare l'attività di migrazione con il seguente comando. Sostituire {YourConfigFilePath} con la directory locale in cui risiede il file di configurazione migration.yaml.

./milvus-migration start --config=/{YourConfigFilePath}/migration.yaml

Monitorare i log per verificare l'avanzamento dei lavori. I log della migrazione dovrebbero includere voci come:

[INFO] [migration/milvus2x_starter.go:79] ["=================>JobProcess!"] [Percent=100]
[INFO] [migration/milvus2x_starter.go:27] ["[Starter] migration Milvus2x to Milvus2x finish!!!"] [Cost=94.877717375]
[INFO] [starter/starter.go:109] ["[Starter] Migration Success!"] [Cost=94.878243583]

Opzione 2: Fare richieste API

Si può anche usare l'API Restful per eseguire la migrazione. Avviare il server API con:

./milvus-migration server run -p 8080

Una volta che il server è stato avviato con successo, posizionare il file migration.yaml nella cartella configs/ del progetto e avviare la migrazione con:

curl -XPOST http://localhost:8080/api/v1/start

Verificare il risultato

Al termine dell'attività di migrazione, utilizzare Attu per visualizzare il numero di entità migrate. Inoltre, è possibile creare indici e caricare collezioni in Attu. Per ulteriori informazioni, consultare Attu e get_collection_stats().

Opzioni di configurazione aggiuntive

Oltre alle configurazioni di base sopra menzionate, è possibile aggiungere ulteriori impostazioni in base alle proprie esigenze specifiche.

• Migrazione selettiva dei campi: Se è necessario migrare solo campi specifici in una raccolta anziché tutti i campi, specificare i campi da migrare nella sezione meta del file migration.yaml.

  meta:
    fields:
      - name: id
      - name: title_vector
      - name: reading_time
  

• Raccolta di destinazione personalizzata: Per personalizzare le proprietà della raccolta di destinazione, aggiungere le relative configurazioni nella sezione meta del file migration.yaml.

  meta:
    milvus:
      collection: target_collection_name
      shardNum: 2
      closeDynamicField: false
      consistencyLevel: Customized
  

Per informazioni dettagliate, consultare Milvus Migration: Milvus2.x a Milvus2.x.