Einsatz von FastGPT mit Milvus

FastGPT ist ein wissensbasiertes Frage- und Antwortsystem, das auf dem großen LLM-Sprachmodell aufbaut und gebrauchsfertige Funktionen für die Datenverarbeitung und den Modellaufruf bietet. Darüber hinaus ermöglicht es die Orchestrierung von Arbeitsabläufen durch Flow-Visualisierung, wodurch komplexe Frage- und Antwortszenarien erleichtert werden. Dieses Tutorial zeigt Ihnen, wie Sie mit Milvus schnell Ihre eigene exklusive FastGPT-Anwendung bereitstellen können.

docker-compose.yml herunterladen

Stellen Sie sicher, dass Sie Docker Compose bereits installiert haben.
Führen Sie den unten stehenden Befehl aus, um die Datei docker-compose.yml herunterzuladen.

$ mkdir fastgpt
$ cd fastgpt
$ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

# milvus version
$ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz version
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml

Wenn Sie die Zilliz-Version verwenden, passen Sie die Parameter MILVUS_ADDRESS und MILVUS_TOKEN link in der Datei docker-compose.yml an, die dem öffentlichen Endpunkt und dem Api-Schlüssel in der Zilliz-Cloud entsprechen.

Starten Sie den Container

Führen Sie die Datei im gleichen Verzeichnis wie docker-compose.yml aus. Stellen Sie sicher, dass die Version von docker-compose idealerweise über 2.17 liegt, da einige Automatisierungsbefehle sonst nicht funktionieren.

# Launch the container
$ docker compose up -d
# Wait for 10s, OneAPI typically needs to restart a few times to initially connect to Mysql
$ sleep 10
# Restart oneapi (Due to certain issues with the default Key of OneAPI, it will display 'channel not found' if not restarted, this can be temporarily resolved by manually restarting once, while waiting for the author's fix)
$ docker restart oneapi

Zugriff auf OneAPI zum Hinzufügen von Modellen

Auf OneAPI kann unter ip:3001 zugegriffen werden. Der Standardbenutzername ist root und das Passwort lautet 123456. Sie können das Passwort nach dem Einloggen ändern.
Klicken Sie am Beispiel des OpenAI-Modells auf die Registerkarte "Channel" und wählen Sie unter "Models" Ihr Chat-Modell und Ihr Einbettungsmodell aus.
Geben Sie Ihren OpenAI-API-Schlüssel in den Abschnitt "Secrets" ein.
Für die Verwendung von Modellen, die über OpenAI hinausgehen, und für weitere Informationen, lesen Sie bitte One API.

Token einstellen

Klicken Sie auf den Reiter "Token". Standardmäßig ist ein Token Initial Root Token vorhanden. Sie können auch ein neues Token erstellen und eine eigene Quote festlegen.
Klicken Sie auf "Kopieren" für Ihr Token und stellen Sie sicher, dass der Wert dieses Tokens mit dem in der Datei docker-compose.yml festgelegten Wert CHAT_API_KEY übereinstimmt.

Zugriff auf FastGPT

Derzeit kann auf FastGPT direkt unter ip:3000 zugegriffen werden (bitte beachten Sie die Firewall). Der Login-Benutzername ist root, das Passwort ist in der Umgebungsvariablen docker-compose.yml auf DEFAULT_ROOT_PSW gesetzt. Sollten Sie Zugriff auf Domänennamen benötigen, müssen Sie Nginx selbst installieren und konfigurieren.

Beenden Sie den Container

Führen Sie den folgenden Befehl aus, um den Container zu stoppen.

$ docker compose down