Kotaemon RAG com Milvus

O Kotaemon é uma interface RAG de código aberto, limpa e personalizável, para conversar com os seus documentos. Foi criado a pensar nos utilizadores finais e nos programadores.

O Kotaemon fornece uma interface web de QA de documentos personalizável e multi-utilizador que suporta LLMs locais e baseados em API. Oferece um pipeline RAG híbrido com recuperação de texto integral e vetorial, QA multimodal para documentos com figuras e tabelas e citações avançadas com pré-visualizações de documentos. Suporta métodos de raciocínio complexos, como ReAct e ReWOO, e fornece definições configuráveis para recuperação e geração.

Este tutorial irá guiá-lo sobre como personalizar a sua aplicação kotaemon utilizando o Milvus.

Pré-requisitos

Instalação do kotaemon

Recomendamos a instalação do kotaemon desta forma:

# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon

git clone https://github.com/Cinnamon/kotaemon
cd kotaemon

pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"

Além desta forma, existem outras maneiras de instalar o kotaemon. Pode consultar a documentação oficial para obter mais detalhes.

Definir o Milvus como o armazenamento de vectores predefinido

Para alterar o armazenamento de vectores por defeito para Milvus, tem de modificar o ficheiro flowsettings.py mudando KH_VECTORSTORE para:

"__type__": "kotaemon.storages.MilvusVectorStore"

Set Environment Variables (Definir variáveis de ambiente)

pode configurar os modelos através do ficheiro .env com as informações necessárias para ligar aos LLM e aos modelos de incorporação, por exemplo, OpenAI, Azure, Ollama, etc.

Executar o Kotaemon

Depois de configurar as variáveis de ambiente e alterar o armazenamento de vectores, pode executar o kotaemon através do seguinte comando:

python app.py

O nome de utilizador/palavra-passe predefinidos são: admin / admin

Iniciar o RAG com o kotaemon

1. Adicione os seus modelos de IA

No separador Resources, pode adicionar e definir os seus LLM e modelos de incorporação. Pode adicionar vários modelos e defini-los como activos ou inactivos. Só precisa de fornecer pelo menos um. Também pode fornecer vários modelos para permitir a alternância entre eles.

2. Carregue os seus documentos

Para efetuar o controlo de qualidade dos seus documentos, é necessário carregá-los primeiro na aplicação. Navegue até ao separador File Index e pode carregar e gerir os seus documentos personalizados.

Por defeito, todos os dados da aplicação são armazenados na pasta ./ktem_app_data. Os dados da base de dados Milvus são armazenados em ./ktem_app_data/user_data/vectorstore. Pode fazer uma cópia de segurança ou copiar esta pasta para mover a sua instalação para uma nova máquina.

3. Conversar com os seus documentos

Agora navegue novamente para o separador Chat. O separador Conversa é composto por 3 regiões: o Painel de Definições de Conversa, onde gere as conversas e as referências de ficheiros; o Painel de Conversa para interagir com o chatbot; e o Painel de Informação, que apresenta provas de apoio, pontuações de confiança e classificações de relevância para as respostas.

Pode selecionar os seus documentos no Painel de definições de conversação. Depois, basta iniciar o RAG com os seus documentos, escrevendo uma mensagem na caixa de entrada e enviando-a para o chatbot.

Se quiser aprofundar a forma de utilizar o kotaemon, pode obter uma orientação completa na documentação oficial.