밀버스와 함께하는 코타에몬 RAG

Kotaemon은 문서 채팅을 위한 깔끔하고 사용자 정의 가능한 오픈 소스 RAG UI입니다. 최종 사용자와 개발자 모두를 염두에 두고 제작되었습니다.

Kotaemon은 로컬 및 API 기반 LLM을 지원하는 사용자 지정 가능한 다중 사용자 문서 QA 웹-UI를 제공합니다. 전체 텍스트 및 벡터 검색, 그림과 표가 포함된 문서를 위한 멀티모달 QA, 문서 미리 보기를 통한 고급 인용 기능을 갖춘 하이브리드 RAG 파이프라인을 제공합니다. ReAct 및 ReWOO와 같은 복잡한 추론 방법을 지원하며 검색 및 생성을 위한 구성 가능한 설정을 제공합니다.

이 튜토리얼에서는 Milvus를 사용하여 코타에몬 애플리케이션을 사용자 지정하는 방법을 안내합니다.

전제 조건

설치

코타에몬은 이 방법으로 설치하는 것을 권장합니다:

# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon

git clone https://github.com/Cinnamon/kotaemon
cd kotaemon

pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"

이 방법 외에도 코타에몬을 설치하는 다른 방법이 있습니다. 자세한 내용은 공식 문서를 참조하세요.

Milvus를 기본 벡터 저장소로 설정

기본 벡터 저장소를 Milvus로 변경하려면 flowsettings.py 파일을 KH_VECTORSTORE 로 변경하여 수정해야 합니다:

"__type__": "kotaemon.storages.MilvusVectorStore"

환경 변수 설정

를 통해 모델을 구성할 수 있으며, .env 파일에서 LLM에 연결하고 모델을 임베딩하는 데 필요한 정보(예: OpenAI, Azure, Ollama 등)를 설정할 수 있습니다.

코타에몬 실행

환경 변수를 설정하고 벡터 저장소를 변경한 후 다음 명령을 실행하여 kotaemon을 실행할 수 있습니다:

python app.py

기본 사용자 이름/비밀번호는 다음과 같습니다: admin / admin

kotaemon으로 RAG 시작하기

1. AI 모델 추가하기

Resources 탭에서 LLM과 임베딩 모델을 추가하고 설정할 수 있습니다. 여러 모델을 추가하고 활성 또는 비활성 상태로 설정할 수 있습니다. 하나 이상의 모델만 제공하면 됩니다. 여러 모델을 제공하여 모델 간에 전환할 수 있도록 할 수도 있습니다.

2. 문서 업로드

문서에 대한 QA를 수행하려면 먼저 애플리케이션에 문서를 업로드해야 합니다. File Index 탭으로 이동하여 사용자 지정 문서를 업로드하고 관리할 수 있습니다.

기본적으로 모든 애플리케이션 데이터는 ./ktem_app_data 폴더에 저장됩니다. Milvus 데이터베이스 데이터는 ./ktem_app_data/user_data/vectorstore 폴더에 저장됩니다. 이 폴더를 백업하거나 복사하여 새 컴퓨터로 설치를 옮길 수 있습니다.

3. 문서와 채팅하기

이제 Chat 탭으로 다시 이동합니다. 채팅 탭은 대화 및 파일 참조를 관리하는 대화 설정 패널, 챗봇과 상호작용하기 위한 채팅 패널, 답변의 근거 자료, 신뢰도 점수 및 관련성 등급을 표시하는 정보 패널의 세 가지 영역으로 구성되어 있습니다.

대화 설정 패널에서 문서를 선택할 수 있습니다. 그런 다음 입력 상자에 메시지를 입력하여 문서로 RAG를 시작하고 챗봇에게 전송하기만 하면 됩니다.

코타에몽 사용법에 대해 자세히 알아보고 싶다면 공식 문서에서 전체 안내를 받으실 수 있습니다.