Implementação do FastGPT com Milvus

O FastGPT é um sistema de perguntas e respostas baseado no conhecimento e construído sobre o modelo de linguagem grande LLM, oferecendo recursos prontos para uso para processamento de dados e invocação de modelos. Além disso, ele permite a orquestração do fluxo de trabalho por meio da visualização do fluxo, facilitando assim cenários complexos de perguntas e respostas. Este tutorial irá guiá-lo sobre como implantar rapidamente seu próprio aplicativo FastGPT exclusivo usando Milvus.

Baixar docker-compose.yml

Certifique-se de que você já instalou o Docker Compose.
Execute o comando abaixo para baixar o arquivo docker-compose.yml.

$ mkdir fastgpt
$ cd fastgpt
$ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

# milvus version
$ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz version
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml

Se estiver a utilizar a versão Zilliz, ajuste os parâmetros MILVUS_ADDRESS e MILVUS_TOKEN link no ficheiro docker-compose.yml, que corresponde ao Public Endpoint e à chave Api no Zilliz Cloud.

Iniciar o contentor

Execute no mesmo diretório que docker-compose.yml. Certifique-se de que a versão do docker-compose está idealmente acima de 2.17, pois alguns comandos de automação podem não funcionar de outra forma.

# Launch the container
$ docker compose up -d
# Wait for 10s, OneAPI typically needs to restart a few times to initially connect to Mysql
$ sleep 10
# Restart oneapi (Due to certain issues with the default Key of OneAPI, it will display 'channel not found' if not restarted, this can be temporarily resolved by manually restarting once, while waiting for the author's fix)
$ docker restart oneapi

Acessar a OneAPI para adicionar modelos

A OneAPI pode ser acessada em ip:3001. O nome de usuário padrão é root e a senha é 123456. É possível alterar a palavra-passe após o início de sessão.
Utilizando o modelo do OpenAI como exemplo, clique no separador "Canal" e selecione o modelo de chat e o modelo de incorporação em "Modelos".
Introduza a sua chave de API OpenAI na secção "Segredos".
Para a utilização de modelos para além do OpenAI e para mais informações, consulte One API.

Definir os tokens

Clique no separador "Tokens". Por defeito, existe um token Initial Root Token. Também pode criar um novo token e definir uma quota por si próprio.
Clique em "Copy" (Copiar) no seu token, certificando-se de que o valor deste token corresponde ao valor CHAT_API_KEY definido no ficheiro docker-compose.yml.

Aceder ao FastGPT

Atualmente, o FastGPT pode ser acedido diretamente em ip:3000 (tenha em atenção a firewall). O nome de utilizador de login é root, com a palavra-passe definida para DEFAULT_ROOT_PSW na variável de ambiente docker-compose.yml. Se necessitar de acesso ao nome de domínio, terá de instalar e configurar o Nginx por si próprio.

Parar o contentor

Execute o seguinte comando para parar o contentor.

$ docker compose down