Despliegue de FastGPT con Milvus

FastGPT es un sistema de preguntas y respuestas basado en el conocimiento y construido sobre el gran modelo de lenguaje LLM, que ofrece capacidades listas para usar para el procesamiento de datos y la invocación de modelos. Además, permite la orquestación del flujo de trabajo a través de la visualización Flow, facilitando así escenarios complejos de preguntas y respuestas. Este tutorial le guiará sobre cómo desplegar rápidamente su propia aplicación FastGPT exclusiva utilizando Milvus.

Descargar docker-compose.yml

Asegúrese de que ya ha instalado Docker Compose.
Ejecute el siguiente comando para descargar el archivo docker-compose.yml.

$ mkdir fastgpt
$ cd fastgpt
$ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

# milvus version
$ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz version
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml

Si estás usando la versión de Zilliz, ajusta los parámetros MILVUS_ADDRESS y MILVUS_TOKEN link en el archivo docker-compose.yml, que corresponde al Public Endpoint y Api key en Zilliz Cloud.

Lanzar el Contenedor

Ejecutar en el mismo directorio que docker-compose.yml. Asegúrese de que la versión de docker-compose es idealmente superior a 2.17, ya que algunos comandos de automatización pueden no funcionar de otra manera.

# Launch the container
$ docker compose up -d
# Wait for 10s, OneAPI typically needs to restart a few times to initially connect to Mysql
$ sleep 10
# Restart oneapi (Due to certain issues with the default Key of OneAPI, it will display 'channel not found' if not restarted, this can be temporarily resolved by manually restarting once, while waiting for the author's fix)
$ docker restart oneapi

Acceda a OneAPI para añadir modelos

Se puede acceder a OneAPI en ip:3001. El nombre de usuario por defecto es root, y la contraseña es 123456. Puede modificar la contraseña después de iniciar sesión.
Utilizando el modelo de OpenAI como ejemplo, haga clic en la pestaña "Canal", y seleccione su modelo de chat y el modelo de incrustación en "Modelos".
Introduce tu API Key de OpenAI en la sección "Secretos".
Para el uso de modelos más allá de OpenAI, y más información, por favor consulte One API.

Configuración de tokens

Haga clic en la pestaña "Tokens". Por defecto, hay un token Initial Root Token. También puede crear un nuevo token y establecer una cuota por su cuenta.
Haga clic en "Copiar" en su token, asegurándose de que el valor de este token coincide con el valor CHAT_API_KEY establecido en el archivo docker-compose.yml.

Acceso a FastGPT

Actualmente, se puede acceder directamente a FastGPT en ip:3000 (tenga en cuenta el cortafuegos). El nombre de usuario de acceso es root, con la contraseña establecida en DEFAULT_ROOT_PSW dentro de la variable de entorno docker-compose.yml. Si necesita acceso a un nombre de dominio, deberá instalar y configurar Nginx por su cuenta.

Detener el contenedor

Ejecute el siguiente comando para detener el contenedor.

$ docker compose down