Knowledge Table con Milvus

Knowledge Table, sviluppato da WhyHow AI, è un pacchetto open-source progettato per facilitare l'estrazione e l'esplorazione di dati strutturati da documenti non strutturati. Fornisce agli utenti un'interfaccia simile a un foglio di calcolo e consente di creare rappresentazioni della conoscenza, come tabelle e grafici, attraverso un'interfaccia di interrogazione in linguaggio naturale. Il pacchetto include regole di estrazione personalizzabili, opzioni di formattazione e tracciabilità dei dati attraverso la provenienza, rendendolo adattabile a diverse applicazioni. Supporta la perfetta integrazione nei flussi di lavoro RAG, soddisfacendo sia gli utenti aziendali che necessitano di un'interfaccia facile da usare, sia gli sviluppatori che necessitano di un backend flessibile per l'elaborazione efficiente dei documenti.

Per impostazione predefinita, Knowledge Table utilizza il database Milvus per memorizzare e recuperare i dati estratti. Questo permette agli utenti di cercare, filtrare e analizzare facilmente i dati utilizzando le potenti funzioni di Milvus. In questa esercitazione verrà mostrato come iniziare a lavorare con Knowledge Table e Milvus.

Prerequisiti

• Docker
• Docker Compose

Clonare il progetto

$ git clone https://github.com/whyhow-ai/knowledge-table.git

Configurare l'ambiente

Il file .env.example si trova nella cartella principale del progetto. Copiare questo file in .env e inserire le variabili d'ambiente necessarie.

Per Milvus, occorre impostare le variabili d'ambiente MILVUS_DB_URI e MILVUS_DB_TOKEN. Ecco alcuni suggerimenti:

• L'impostazione di MILVUS_DB_URI come file locale, ad esempio./milvus.db, è il metodo più conveniente, poiché utilizza automaticamente Milvus Lite per memorizzare tutti i dati in questo file.
• Se si dispone di una grande quantità di dati, ad esempio più di un milione di vettori, è possibile impostare un server Milvus più performante su Docker o Kubernetes. In questa configurazione, utilizzare l'indirizzo e la porta del server come uri, ad esempiohttp://localhost:19530. Se si abilita la funzione di autenticazione su Milvus, utilizzare "<nome_utente>:<password>" come token, altrimenti non impostare il token.
• Se si desidera utilizzare Zilliz Cloud, il servizio cloud completamente gestito per Milvus, regolare MILVUS_DB_URI e MILVUS_DB_TOKEN, che corrispondono all'endpoint pubblico e alla chiave Api di Zilliz Cloud.

Oltre a Milvus, è necessario impostare anche altri ambienti, ad esempio OPENAI_API_KEY. Ognuno di questi ambienti può essere ottenuto dai rispettivi siti web.

Avvio dell'applicazione

$ docker compose up -d --build

Arresto dell'applicazione

$ docker compose down

Accesso al progetto

Il frontend è accessibile all'indirizzo http://localhost:3000, mentre il backend è accessibile all'indirizzo http://localhost:8000.

È possibile giocare con l'interfaccia utente e provare con i propri documenti.

Per ulteriori dimostrazioni, è possibile consultare la documentazione ufficiale di Knowledge Table.