Implementação do FastGPT com Milvus
O FastGPT é um sistema de perguntas e respostas baseado no conhecimento e construído sobre o modelo de linguagem grande LLM, oferecendo recursos prontos para uso para processamento de dados e invocação de modelos. Além disso, ele permite a orquestração do fluxo de trabalho por meio da visualização do fluxo, facilitando assim cenários complexos de perguntas e respostas. Este tutorial irá guiá-lo sobre como implantar rapidamente seu próprio aplicativo FastGPT exclusivo usando Milvus.
Baixar docker-compose.yml
Certifique-se de que você já instalou o Docker Compose.
Execute o comando abaixo para baixar o arquivo docker-compose.yml.
$ mkdir fastgpt
$ cd fastgpt
$ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
# milvus version
$ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz version
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml
Se estiver a utilizar a versão Zilliz, ajuste os parâmetros
MILVUS_ADDRESS
eMILVUS_TOKEN
link no ficheiro docker-compose.yml, que corresponde ao Public Endpoint e à chave Api no Zilliz Cloud.
Iniciar o contentor
Execute no mesmo diretório que docker-compose.yml. Certifique-se de que a versão do docker-compose está idealmente acima de 2.17, pois alguns comandos de automação podem não funcionar de outra forma.
# Launch the container
$ docker compose up -d
# Wait for 10s, OneAPI typically needs to restart a few times to initially connect to Mysql
$ sleep 10
# Restart oneapi (Due to certain issues with the default Key of OneAPI, it will display 'channel not found' if not restarted, this can be temporarily resolved by manually restarting once, while waiting for the author's fix)
$ docker restart oneapi
Acessar a OneAPI para adicionar modelos
A OneAPI pode ser acessada em ip:3001
. O nome de usuário padrão é root e a senha é 123456. É possível alterar a palavra-passe após o início de sessão.
Utilizando o modelo do OpenAI como exemplo, clique no separador "Canal" e selecione o modelo de chat e o modelo de incorporação em "Modelos".
Introduza a sua chave de API OpenAI na secção "Segredos".
Para a utilização de modelos para além do OpenAI e para mais informações, consulte One API.
Definir os tokens
Clique no separador "Tokens". Por defeito, existe um token Initial Root Token
. Também pode criar um novo token e definir uma quota por si próprio.
Clique em "Copy" (Copiar) no seu token, certificando-se de que o valor deste token corresponde ao valor CHAT_API_KEY
definido no ficheiro docker-compose.yml.
Aceder ao FastGPT
Atualmente, o FastGPT pode ser acedido diretamente em ip:3000
(tenha em atenção a firewall). O nome de utilizador de login é root, com a palavra-passe definida para DEFAULT_ROOT_PSW
na variável de ambiente docker-compose.yml. Se necessitar de acesso ao nome de domínio, terá de instalar e configurar o Nginx por si próprio.
Parar o contentor
Execute o seguinte comando para parar o contentor.
$ docker compose down