Milvus로 FastGPT 배포하기
FastGPT는 LLM 대규모 언어 모델을 기반으로 구축된 지식 기반 질의응답 시스템으로, 데이터 처리 및 모델 호출을 위해 바로 사용할 수 있는 기능을 제공합니다. 또한 플로우 시각화를 통해 워크플로우 오케스트레이션이 가능하므로 복잡한 질문과 답변 시나리오를 용이하게 합니다. 이 튜토리얼에서는 Milvus를 사용해 자신만의 전용 FastGPT 애플리케이션을 신속하게 배포하는 방법을 안내합니다.
docker-compose.yml 다운로드
도커 컴포즈를 이미 설치했는지 확인하세요.
아래 명령어를 실행하여 docker-compose.yml 파일을 다운로드합니다.
$ mkdir fastgpt
$ cd fastgpt
$ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
# milvus version
$ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz version
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml
Zilliz 버전을 사용하는 경우, Zilliz Cloud의 퍼블릭 엔드포인트 및 API 키에 해당하는
MILVUS_ADDRESS및MILVUS_TOKEN링크 파라미터를 docker-compose.yml 파일에서 조정합니다.
컨테이너 실행
docker-compose.yml과 동일한 디렉토리에서 실행합니다. 일부 자동화 명령어가 작동하지 않을 수 있으므로 docker-compose 버전이 2.17 이상인지 확인하세요.
# Launch the container
$ docker compose up -d
# Wait for 10s, OneAPI typically needs to restart a few times to initially connect to Mysql
$ sleep 10
# Restart oneapi (Due to certain issues with the default Key of OneAPI, it will display 'channel not found' if not restarted, this can be temporarily resolved by manually restarting once, while waiting for the author's fix)
$ docker restart oneapi
OneAPI에 액세스하여 모델 추가
OneAPI는 ip:3001 에서 액세스할 수 있습니다. 기본 사용자 아이디는 root이고 비밀번호는 123456입니다. 로그인 후 비밀번호를 변경할 수 있습니다.
OpenAI의 모델을 예로 들어 '채널' 탭을 클릭하고 '모델' 아래에서 채팅 모델과 임베딩 모델을 선택합니다.
"비밀" 섹션에 OpenAI API 키를 입력합니다.
OpenAI 이외의 모델을 사용하는 방법 및 자세한 내용은 One API를 참조하세요.
토큰 설정
"토큰" 탭을 클릭합니다. 기본적으로 Initial Root Token 토큰이 있습니다. 새 토큰을 생성하고 직접 할당량을 설정할 수도 있습니다.
토큰에서 "복사"를 클릭하고 이 토큰의 값이 docker-compose.yml 파일에 설정된 CHAT_API_KEY 값과 일치하는지 확인합니다.
FastGPT에 액세스하기
현재 FastGPT는 ip:3000 에서 직접 액세스할 수 있습니다(방화벽에 유의하세요). 로그인 사용자 이름은 root이며, 비밀번호는 docker-compose.yml 환경 변수 내에 DEFAULT_ROOT_PSW 로 설정되어 있습니다. 도메인 네임 액세스가 필요한 경우 직접 Nginx를 설치하고 구성해야 합니다.
컨테이너 중지
다음 명령을 실행하여 컨테이너를 중지합니다.
$ docker compose down
