Kotaemon RAG con Milvus
Kotaemon es una interfaz de usuario RAG de código abierto limpia y personalizable para chatear con tus documentos. Construido pensando tanto en los usuarios finales como en los desarrolladores.
Kotaemon proporciona una interfaz web de control de calidad de documentos personalizable y multiusuario que admite LLM locales y basados en API. Ofrece una canalización RAG híbrida con recuperación de texto completo y vectorial, control de calidad multimodal para documentos con figuras y tablas, y citas avanzadas con vistas previas de documentos. Es compatible con métodos de razonamiento complejos como ReAct y ReWOO, y proporciona ajustes configurables para la recuperación y la generación.
Este tutorial le guiará sobre cómo personalizar su aplicación kotaemon utilizando Milvus.
Requisitos previos
Instalación
Recomendamos instalar kotaemon de esta manera:
# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon
git clone https://github.com/Cinnamon/kotaemon
cd kotaemon
pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"
Además de esta manera, hay otras formas de instalar kotaemon. Puede consultar la documentación oficial para más detalles.
Establecer Milvus como almacenamiento de vectores por defecto
Para cambiar el almacenamiento de vectores por defecto a Milvus, tiene que modificar el archivo flowsettings.py
cambiando KH_VECTORSTORE
a:
"__type__": "kotaemon.storages.MilvusVectorStore"
Establecer variables de entorno
puedes configurar los modelos a través del fichero .env
con la información necesaria para conectar con los LLMs y modelos de incrustación. por ejemplo OpenAI, Azure, Ollama, etc.
Ejecutar Kotaemon
Después de configurar las variables de entorno y cambiar el almacenamiento vectorial, puede ejecutar kotaemon ejecutando el siguiente comando:
python app.py
El nombre de usuario / contraseña por defecto son: admin
/ admin
Iniciar RAG con kotaemon
1. Añade tus modelos de IA
En la pestaña Resources
, puedes añadir y configurar tus LLMs y modelos de incrustación. Puedes añadir varios modelos y configurarlos como activos o inactivos. Sólo necesitas proporcionar al menos uno. También puede proporcionar varios modelos para permitir el cambio entre ellos.
2. Cargue sus documentos
Para poder realizar el control de calidad de sus documentos, primero debe cargarlos en la aplicación. Vaya a la pestaña File Index
y podrá cargar y gestionar sus documentos personalizados.
Por defecto, todos los datos de la aplicación se almacenan en la carpeta ./ktem_app_data
. Los datos de la base de datos de Milvus se almacenan en ./ktem_app_data/user_data/vectorstore
. Puede hacer una copia de seguridad o copiar esta carpeta para mover su instalación a una nueva máquina.
3. Chatee con sus documentos
Ahora vuelva a la pestaña Chat
. La pestaña Chat consta de 3 regiones: el Panel de Configuración de la Conversación, donde se gestionan las conversaciones y las referencias a archivos; el Panel de Chat para interactuar con el chatbot; y el Panel de Información, que muestra las pruebas de apoyo, las puntuaciones de confianza y las calificaciones de relevancia de las respuestas.
Puede seleccionar sus documentos en el panel de configuración de la conversación. A continuación, sólo tiene que iniciar RAG con sus documentos escribiendo un mensaje en el cuadro de entrada y enviarlo al chatbot.
Si quieres profundizar en cómo utilizar kotaemon, puedes obtener una guía completa en la documentación oficial.