Kotaemon RAG con Milvus

Kotaemon es una interfaz de usuario RAG de código abierto limpia y personalizable para chatear con tus documentos. Construido pensando tanto en los usuarios finales como en los desarrolladores.

Kotaemon proporciona una interfaz web de control de calidad de documentos personalizable y multiusuario que admite LLM locales y basados en API. Ofrece una canalización RAG híbrida con recuperación de texto completo y vectorial, control de calidad multimodal para documentos con figuras y tablas, y citas avanzadas con vistas previas de documentos. Es compatible con métodos de razonamiento complejos como ReAct y ReWOO, y proporciona ajustes configurables para la recuperación y la generación.

Este tutorial le guiará sobre cómo personalizar su aplicación kotaemon utilizando Milvus.

Requisitos previos

Instalación

Recomendamos instalar kotaemon de esta manera:

# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon

git clone https://github.com/Cinnamon/kotaemon
cd kotaemon

pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"

Además de esta manera, hay otras formas de instalar kotaemon. Puede consultar la documentación oficial para más detalles.

Establecer Milvus como almacenamiento de vectores por defecto

Para cambiar el almacenamiento de vectores por defecto a Milvus, tiene que modificar el archivo flowsettings.py cambiando KH_VECTORSTORE a:

"__type__": "kotaemon.storages.MilvusVectorStore"

Establecer variables de entorno

puedes configurar los modelos a través del fichero .env con la información necesaria para conectar con los LLMs y modelos de incrustación. por ejemplo OpenAI, Azure, Ollama, etc.

Ejecutar Kotaemon

Después de configurar las variables de entorno y cambiar el almacenamiento vectorial, puede ejecutar kotaemon ejecutando el siguiente comando:

python app.py

El nombre de usuario / contraseña por defecto son: admin / admin

Iniciar RAG con kotaemon

1. Añade tus modelos de IA

En la pestaña Resources, puedes añadir y configurar tus LLMs y modelos de incrustación. Puedes añadir varios modelos y configurarlos como activos o inactivos. Sólo necesitas proporcionar al menos uno. También puede proporcionar varios modelos para permitir el cambio entre ellos.

2. Cargue sus documentos

Para poder realizar el control de calidad de sus documentos, primero debe cargarlos en la aplicación. Vaya a la pestaña File Index y podrá cargar y gestionar sus documentos personalizados.

Por defecto, todos los datos de la aplicación se almacenan en la carpeta ./ktem_app_data. Los datos de la base de datos de Milvus se almacenan en ./ktem_app_data/user_data/vectorstore. Puede hacer una copia de seguridad o copiar esta carpeta para mover su instalación a una nueva máquina.

3. Chatee con sus documentos

Ahora vuelva a la pestaña Chat. La pestaña Chat consta de 3 regiones: el Panel de Configuración de la Conversación, donde se gestionan las conversaciones y las referencias a archivos; el Panel de Chat para interactuar con el chatbot; y el Panel de Información, que muestra las pruebas de apoyo, las puntuaciones de confianza y las calificaciones de relevancia de las respuestas.

Puede seleccionar sus documentos en el panel de configuración de la conversación. A continuación, sólo tiene que iniciar RAG con sus documentos escribiendo un mensaje en el cuadro de entrada y enviarlo al chatbot.

Si quieres profundizar en cómo utilizar kotaemon, puedes obtener una guía completa en la documentación oficial.