Kotaemon RAG mit Milvus

Kotaemon ist eine saubere und anpassbare Open-Source-RAG-Oberfläche zum Chatten mit Ihren Dokumenten. Es wurde sowohl für Endbenutzer als auch für Entwickler entwickelt.

Kotaemon bietet eine anpassbare, mehrbenutzerfähige QA-Web-UI für Dokumente, die lokale und API-basierte LLMs unterstützt. Es bietet eine hybride RAG-Pipeline mit Volltext- und Vektorrecherche, multimodale QA für Dokumente mit Abbildungen und Tabellen sowie erweiterte Zitierfunktionen mit Dokumentenvorschau. Es unterstützt komplexe Reasoning-Methoden wie ReAct und ReWOO und bietet konfigurierbare Einstellungen für Retrieval und Generierung.

Dieses Tutorial zeigt Ihnen, wie Sie Ihre kotaemon-Anwendung mit Milvus anpassen können.

Voraussetzungen

Installation

Wir empfehlen, kotaemon auf diese Weise zu installieren:

# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon

git clone https://github.com/Cinnamon/kotaemon
cd kotaemon

pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"

Neben diesem Weg gibt es noch einige andere Möglichkeiten, kotaemon zu installieren. Sie können die offizielle Dokumentation für weitere Details konsultieren.

Milvus als Standard-Vektorspeicher einstellen

Um den Standard-Vektorspeicher auf Milvus umzustellen, müssen Sie die Datei flowsettings.py ändern, indem Sie KH_VECTORSTORE auf umstellen:

"__type__": "kotaemon.storages.MilvusVectorStore"

Umgebungsvariablen setzen

können Sie die Modelle über die Datei .env mit den Informationen konfigurieren, die für die Verbindung zu den LLMs und Einbettungsmodellen benötigt werden. z.B. OpenAI, Azure, Ollama, etc.

Kotaemon ausführen

Nach dem Einrichten der Umgebungsvariablen und dem Ändern des Vektorspeichers können Sie kotaemon mit dem folgenden Befehl starten:

python app.py

Standard-Benutzername/Passwort sind: admin / admin

RAG mit kotaemon starten

1. Fügen Sie Ihre KI-Modelle hinzu

Auf der Registerkarte Resources können Sie Ihre LLMs und Einbettungsmodelle hinzufügen und einstellen. Sie können mehrere Modelle hinzufügen und sie als aktiv oder inaktiv festlegen. Sie müssen nur mindestens ein Modell angeben. Sie können auch mehrere Modelle angeben, um zwischen ihnen wechseln zu können.

2. Hochladen Ihrer Dokumente

Um Ihre Dokumente einer Qualitätskontrolle zu unterziehen, müssen Sie sie zunächst in die Anwendung hochladen. Wechseln Sie zur Registerkarte File Index, um Ihre benutzerdefinierten Dokumente hochzuladen und zu verwalten.

Standardmäßig werden alle Anwendungsdaten im Ordner ./ktem_app_data gespeichert. Die Daten der Milvus-Datenbank werden in ./ktem_app_data/user_data/vectorstore gespeichert. Sie können diesen Ordner sichern oder kopieren, um Ihre Installation auf einen neuen Rechner zu übertragen.

3. Chatten Sie mit Ihren Dokumenten

Navigieren Sie nun zurück zur Registerkarte Chat. Die Registerkarte "Chat" besteht aus drei Bereichen: dem Bereich "Konversationseinstellungen", in dem Sie Konversationen und Dateiverweise verwalten; dem Bereich "Chat" für die Interaktion mit dem Chatbot; und dem Bereich "Informationen", in dem unterstützende Belege, Vertrauenswerte und Relevanzbewertungen für Antworten angezeigt werden.

Sie können Ihre Dokumente im Konversationseinstellungspanel auswählen. Starten Sie RAG dann einfach mit Ihren Dokumenten, indem Sie eine Nachricht in das Eingabefeld eingeben und an den Chatbot senden.

Wenn Sie tiefer in die Verwendung von kotaemon eintauchen möchten, können Sie eine vollständige Anleitung in der offiziellen Dokumentation erhalten.