Déploiement de FastGPT avec Milvus

FastGPT est un système de questions et réponses basé sur la connaissance et construit sur le grand modèle de langage LLM, offrant des capacités prêtes à l'emploi pour le traitement des données et l'invocation de modèles. En outre, il permet l'orchestration du flux de travail par le biais de la visualisation Flow, facilitant ainsi les scénarios de questions et réponses complexes. Ce tutoriel vous guidera sur la façon de déployer rapidement votre propre application FastGPT exclusive à l'aide de Milvus.

Télécharger docker-compose.yml

Assurez-vous d'avoir déjà installé Docker Compose.
Exécutez la commande ci-dessous pour télécharger le fichier docker-compose.yml.

$ mkdir fastgpt
$ cd fastgpt
$ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

# milvus version
$ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz version
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml

Si vous utilisez la version Zilliz, ajustez les paramètres MILVUS_ADDRESS et MILVUS_TOKEN link dans le fichier docker-compose.yml, qui correspond au Public Endpoint et à la clé Api dans Zilliz Cloud.

Lancer le conteneur

Exécutez dans le même répertoire que docker-compose.yml. Assurez-vous que la version de docker-compose est idéalement supérieure à 2.17, car certaines commandes d'automatisation peuvent ne pas fonctionner dans le cas contraire.

# Launch the container
$ docker compose up -d
# Wait for 10s, OneAPI typically needs to restart a few times to initially connect to Mysql
$ sleep 10
# Restart oneapi (Due to certain issues with the default Key of OneAPI, it will display 'channel not found' if not restarted, this can be temporarily resolved by manually restarting once, while waiting for the author's fix)
$ docker restart oneapi

Accéder à OneAPI pour ajouter des modèles

OneAPI est accessible à l'adresse ip:3001. Le nom d'utilisateur par défaut est root et le mot de passe est 123456. Vous pouvez modifier le mot de passe après vous être connecté.
En utilisant le modèle OpenAI comme exemple, cliquez sur l'onglet "Channel" et sélectionnez votre modèle de chat et votre modèle d'intégration sous "Models".
Saisissez votre clé API OpenAI dans la section "Secrets".
Pour l'utilisation de modèles autres que ceux d'OpenAI, et pour de plus amples informations, veuillez consulter One API.

Définition des jetons

Cliquez sur l'onglet "Tokens". Par défaut, il y a un jeton Initial Root Token. Vous pouvez également créer un nouveau token et définir un quota.
Cliquez sur "Copy" sur votre token, en vous assurant que la valeur de ce token correspond à la valeur CHAT_API_KEY définie dans le fichier docker-compose.yml.

Accéder à FastGPT

Actuellement, FastGPT est accessible directement à l'adresse ip:3000 (attention au pare-feu). Le nom d'utilisateur de connexion est root, avec le mot de passe défini à DEFAULT_ROOT_PSW dans la variable d'environnement docker-compose.yml. Si vous avez besoin d'un accès par nom de domaine, vous devrez installer et configurer Nginx vous-même.

Arrêter le conteneur

Exécutez la commande suivante pour arrêter le conteneur.

$ docker compose down