Kotaemon RAG avec Milvus

Kotaemon est une interface RAG open-source propre et personnalisable pour dialoguer avec vos documents. Elle a été conçue pour les utilisateurs finaux et les développeurs.

Kotaemon fournit une interface web personnalisable et multi-utilisateurs pour l'assurance qualité des documents, prenant en charge les LLM locaux et basés sur l'API. Il offre un pipeline RAG hybride avec recherche plein texte et vectorielle, une AQ multimodale pour les documents avec figures et tableaux, et des citations avancées avec prévisualisation des documents. Il prend en charge des méthodes de raisonnement complexes telles que ReAct et ReWOO, et fournit des paramètres configurables pour l'extraction et la génération.

Ce tutoriel vous guidera dans la personnalisation de votre application kotaemon à l'aide de Milvus.

Conditions préalables

Installation de kotaemon

Nous recommandons d'installer kotaemon de cette manière :

# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon

git clone https://github.com/Cinnamon/kotaemon
cd kotaemon

pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"

Outre cette méthode, il existe d'autres façons d'installer kotaemon. Vous pouvez vous référer à la documentation officielle pour plus de détails.

Définir Milvus comme stockage vectoriel par défaut

Pour changer le stockage vectoriel par défaut en Milvus, vous devez modifier le fichier flowsettings.py en remplaçant KH_VECTORSTORE par :

"__type__": "kotaemon.storages.MilvusVectorStore"

Définir les variables d'environnement

vous pouvez configurer les modèles via le fichier .env avec les informations nécessaires pour se connecter aux LLM et aux modèles d'intégration, par exemple OpenAI, Azure, Ollama, etc.

Exécuter Kotaemon

Après avoir configuré les variables d'environnement et modifié le stockage des vecteurs, vous pouvez lancer kotaemon en exécutant la commande suivante :

python app.py

Le nom d'utilisateur et le mot de passe par défaut sont admin / admin

Démarrer RAG avec kotaemon

1. Ajoutez vos modèles d'IA

Dans l'onglet Resources, vous pouvez ajouter et définir vos LLM et vos modèles d'intégration. Vous pouvez ajouter plusieurs modèles et les définir comme actifs ou inactifs. Il vous suffit d'en fournir au moins un. Vous pouvez également fournir plusieurs modèles pour pouvoir passer de l'un à l'autre.

2. Téléchargez vos documents

Afin d'effectuer l'assurance qualité sur vos documents, vous devez d'abord les télécharger dans l'application. Naviguez jusqu'à l'onglet File Index, et vous pourrez télécharger et gérer vos documents personnalisés.

Par défaut, toutes les données de l'application sont stockées dans le dossier ./ktem_app_data. Les données de la base de données Milvus sont stockées dans le dossier ./ktem_app_data/user_data/vectorstore. Vous pouvez sauvegarder ou copier ce dossier pour déplacer votre installation sur une nouvelle machine.

3. Chat avec vos documents

Retournez maintenant à l'onglet Chat. L'onglet Chat se compose de trois parties : le panneau des paramètres de conversation, où vous gérez les conversations et les références de fichiers ; le panneau de chat pour interagir avec le chatbot ; et le panneau d'information, qui affiche les preuves, les notes de confiance et les notes de pertinence pour les réponses.

Vous pouvez sélectionner vos documents dans le panneau des paramètres de la conversation. Il vous suffit ensuite de lancer RAG avec vos documents en tapant un message dans le champ de saisie et de l'envoyer au chatbot.

Si vous souhaitez approfondir l'utilisation de kotaemon, vous pouvez obtenir des conseils complets dans la documentation officielle.