Distribuzione di FastGPT con Milvus

FastGPT è un sistema di domande e risposte basato sulla conoscenza e costruito sul modello linguistico LLM, che offre funzionalità pronte all'uso per l'elaborazione dei dati e l'invocazione del modello. Inoltre, consente l'orchestrazione del flusso di lavoro attraverso la visualizzazione del flusso, facilitando così scenari complessi di domande e risposte. Questo tutorial vi guiderà su come distribuire rapidamente la vostra esclusiva applicazione FastGPT utilizzando Milvus.

Scaricare docker-compose.yml

Assicuratevi di aver già installato Docker Compose.
Eseguite il comando seguente per scaricare il file docker-compose.yml.

$ mkdir fastgpt
$ cd fastgpt
$ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

# milvus version
$ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz version
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml

Se si utilizza la versione Zilliz, regolare i parametri MILVUS_ADDRESS e MILVUS_TOKEN link nel file docker-compose.yml, che corrispondono all'endpoint pubblico e alla chiave Api in Zilliz Cloud.

Avviare il contenitore

Eseguire nella stessa directory di docker-compose.yml. Assicurarsi che la versione di docker-compose sia idealmente superiore alla 2.17, poiché altrimenti alcuni comandi di automazione potrebbero non funzionare.

# Launch the container
$ docker compose up -d
# Wait for 10s, OneAPI typically needs to restart a few times to initially connect to Mysql
$ sleep 10
# Restart oneapi (Due to certain issues with the default Key of OneAPI, it will display 'channel not found' if not restarted, this can be temporarily resolved by manually restarting once, while waiting for the author's fix)
$ docker restart oneapi

Accedere a OneAPI per aggiungere i modelli

Si può accedere a OneAPI all'indirizzo ip:3001. Il nome utente predefinito è root e la password è 123456. È possibile modificare la password dopo l'accesso.
Utilizzando il modello di OpenAI come esempio, fare clic sulla scheda "Canale" e selezionare il modello di chat e il modello di incorporamento in "Modelli".
Inserire la chiave API OpenAI nella sezione "Segreti".
Per l'utilizzo di modelli diversi da OpenAI e per ulteriori informazioni, consultare One API.

Impostazione dei token

Fare clic sulla scheda "Token". Per impostazione predefinita, è presente un token Initial Root Token. È anche possibile creare un nuovo token e impostare una quota per conto proprio.
Fare clic su "Copia" del token, assicurandosi che il valore di questo token corrisponda al valore CHAT_API_KEY impostato nel file docker-compose.yml.

Accesso a FastGPT

Al momento è possibile accedere direttamente a FastGPT all'indirizzo ip:3000 (attenzione al firewall). Il nome utente di accesso è root, con la password impostata su DEFAULT_ROOT_PSW nella variabile d'ambiente docker-compose.yml. Se si desidera accedere a un nome di dominio, è necessario installare e configurare Nginx per conto proprio.

Arresto del contenitore

Eseguire il seguente comando per arrestare il contenitore.

$ docker compose down