Knowledge Table avec Milvus

Knowledge Table, développé par WhyHow AI, est un logiciel libre conçu pour faciliter l'extraction et l'exploration de données structurées à partir de documents non structurés. Il offre aux utilisateurs une interface de type tableur et permet la création de représentations de connaissances, telles que des tableaux et des graphiques, par le biais d'une interface d'interrogation en langage naturel. Le logiciel comprend des règles d'extraction personnalisables, des options de formatage et la traçabilité des données par leur provenance, ce qui le rend adaptable à diverses applications. Il permet une intégration transparente dans les flux de travail RAG et s'adresse à la fois aux utilisateurs professionnels qui ont besoin d'une interface conviviale et aux développeurs qui ont besoin d'un backend flexible pour un traitement efficace des documents.

Par défaut, Knowledge Table utilise la base de données Milvus pour stocker et récupérer les données extraites. Cela permet aux utilisateurs de rechercher, de filtrer et d'analyser facilement les données à l'aide des puissantes fonctionnalités de Milvus. Dans ce tutoriel, nous allons montrer comment démarrer avec Knowledge Table et Milvus.

Conditions préalables

• Docker
• Docker Compose

Cloner le projet

$ git clone https://github.com/whyhow-ai/knowledge-table.git

Configurer l'environnement

Vous trouverez le fichier .env.example dans le répertoire racine du projet. Copiez ce fichier sur .env et remplissez les variables d'environnement requises.

Pour Milvus, vous devez définir les variables d'environnement MILVUS_DB_URI et MILVUS_DB_TOKEN. Voici quelques conseils :

• Définir MILVUS_DB_URI comme un fichier local, par exemple./milvus.db, est la méthode la plus pratique, car elle utilise automatiquement Milvus Lite pour stocker toutes les données dans ce fichier.
• Si vous avez des données à grande échelle, par exemple plus d'un million de vecteurs, vous pouvez configurer un serveur Milvus plus performant sur Docker ou Kubernetes. Dans cette configuration, veuillez utiliser l'adresse et le port du serveur comme uri, par exemplehttp://localhost:19530. Si vous activez la fonction d'authentification sur Milvus, utilisez "<votre_nom_d'utilisateur>:<votre_mot_de_passe>" comme jeton, sinon ne définissez pas le jeton.
• Si vous souhaitez utiliser Zilliz Cloud, le service en nuage entièrement géré pour Milvus, réglez les paramètres MILVUS_DB_URI et MILVUS_DB_TOKEN, qui correspondent au point de terminaison public et à la clé Api dans Zilliz Cloud.

Outre Milvus, vous devez également définir d'autres environnements, par exemple OPENAI_API_KEY. Vous pouvez obtenir chacun de ces environnements sur les sites web respectifs.

Démarrer l'application

$ docker compose up -d --build

Arrêt de l'application

$ docker compose down

Accès au projet

Le frontend est accessible à l'adresse http://localhost:3000, et le backend à l'adresse http://localhost:8000.

Vous pouvez jouer avec l'interface utilisateur et essayer avec vos propres documents.

Pour plus de détails sur l'utilisation de la démonstration, vous pouvez vous référer à la documentation officielle de Knowledge Table.