Wissenstabelle mit Milvus

Knowledge Table, entwickelt von WhyHow AI, ist ein Open-Source-Paket, das die Extraktion und Erkundung strukturierter Daten aus unstrukturierten Dokumenten erleichtern soll. Es bietet Nutzern eine kalkulationsähnliche Oberfläche und ermöglicht die Erstellung von Wissensrepräsentationen wie Tabellen und Diagrammen über eine natürlichsprachliche Abfrageoberfläche. Das Paket enthält anpassbare Extraktionsregeln, Formatierungsoptionen und die Rückverfolgbarkeit von Daten durch die Provenienz, wodurch es für verschiedene Anwendungen anpassbar ist. Es unterstützt die nahtlose Integration in RAG-Workflows und richtet sich sowohl an Geschäftsanwender, die eine benutzerfreundliche Oberfläche benötigen, als auch an Entwickler, die ein flexibles Backend für eine effiziente Dokumentenverarbeitung benötigen.

Standardmäßig verwendet Knowledge Table die Milvus-Datenbank, um die extrahierten Daten zu speichern und abzurufen. Dies ermöglicht es den Benutzern, die Daten mit Hilfe der leistungsstarken Funktionen von Milvus einfach zu suchen, zu filtern und zu analysieren. In diesem Tutorial zeigen wir Ihnen, wie Sie mit Knowledge Table und Milvus loslegen können.

Voraussetzungen

• Docker
• Docker Compose

Klonen des Projekts

$ git clone https://github.com/whyhow-ai/knowledge-table.git

Einrichten der Umgebung

Sie finden die Datei .env.example im Stammverzeichnis des Projekts. Kopieren Sie diese Datei nach .env und tragen Sie die erforderlichen Umgebungsvariablen ein.

Für Milvus sollten Sie die Umgebungsvariablen MILVUS_DB_URI und MILVUS_DB_TOKEN setzen. Hier sind einige Tipps:

• Das Setzen von MILVUS_DB_URI als lokale Datei, z. B../milvus.db, ist die bequemste Methode, da Milvus Lite automatisch alle Daten in dieser Datei speichert.
• Wenn Sie große Datenmengen haben, z. B. mehr als eine Million Vektoren, können Sie einen leistungsfähigeren Milvus-Server auf Docker oder Kubernetes einrichten. Bei dieser Einrichtung verwenden Sie bitte die Serveradresse und den Port als Uri, z. B.http://localhost:19530. Wenn Sie die Authentifizierungsfunktion auf Milvus aktivieren, verwenden Sie "<Ihr_Benutzername>:<Ihr_Passwort>" als Token, andernfalls setzen Sie das Token nicht.
• Wenn Sie Zilliz Cloud, den vollständig verwalteten Cloud-Dienst für Milvus, verwenden möchten, passen Sie MILVUS_DB_URI und MILVUS_DB_TOKEN an, die dem öffentlichen Endpunkt und dem Api-Schlüssel in Zilliz Cloud entsprechen.

Neben Milvus sollten Sie auch andere Umgebungen einstellen, z.B. OPENAI_API_KEY. Diese können Sie von den jeweiligen Websites beziehen.

Starten der App

$ docker compose up -d --build

Stoppen der App

$ docker compose down

Zugriff auf das Projekt

Auf das Frontend kann unter http://localhost:3000 zugegriffen werden, auf das Backend unter http://localhost:8000.

Sie können mit der Benutzeroberfläche herumspielen und Ihre eigenen Dokumente ausprobieren.

Weitere Beispiele für die Verwendung von Knowledge Table finden Sie in der offiziellen Dokumentation von Knowledge Table.