Kotaemon RAG con Milvus

Kotaemon è un'interfaccia RAG open-source pulita e personalizzabile per chattare con i documenti. Costruita pensando sia agli utenti finali che agli sviluppatori.

Kotaemon fornisce un'interfaccia web di QA dei documenti personalizzabile e multiutente che supporta LLM locali e basati su API. Offre una pipeline RAG ibrida con recupero full-text e vettoriale, QA multimodale per documenti con figure e tabelle e citazioni avanzate con anteprime dei documenti. Supporta metodi di ragionamento complessi come ReAct e ReWOO e fornisce impostazioni configurabili per il reperimento e la generazione.

Questo tutorial vi guiderà su come personalizzare la vostra applicazione kotaemon utilizzando Milvus.

Prerequisiti

Installazione

Si consiglia di installare kotaemon in questo modo:

# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon

git clone https://github.com/Cinnamon/kotaemon
cd kotaemon

pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"

Oltre a questo modo, esistono altri modi per installare kotaemon. Per maggiori dettagli, consultare la documentazione ufficiale.

Impostare Milvus come archivio vettoriale predefinito

Per cambiare l'archiviazione vettoriale predefinita in Milvus, è necessario modificare il file flowsettings.py cambiando KH_VECTORSTORE in:

"__type__": "kotaemon.storages.MilvusVectorStore"

Imposta variabili d'ambiente

è possibile configurare i modelli tramite il file .env con le informazioni necessarie per connettersi ai LLM e ai modelli di embedding, ad esempio OpenAI, Azure, Ollama, ecc.

Eseguire Kotaemon

Dopo aver impostato le variabili d'ambiente e modificato la memorizzazione dei vettori, è possibile eseguire kotaemon con il seguente comando:

python app.py

Il nome utente e la password predefiniti sono: admin / admin

Avviare RAG con kotaemon

1. Aggiungere i modelli di intelligenza artificiale

Nella scheda Resources è possibile aggiungere e impostare i modelli LLM e di incorporazione. È possibile aggiungere più modelli e impostarli come attivi o inattivi. È sufficiente fornirne almeno uno. È anche possibile fornire più modelli per consentire il passaggio da uno all'altro.

2. Caricare i documenti

Per poter eseguire l'AQ sui documenti, è necessario caricarli nell'applicazione. Accedendo alla scheda File Index, è possibile caricare e gestire i documenti personalizzati.

Per impostazione predefinita, tutti i dati dell'applicazione sono memorizzati nella cartella ./ktem_app_data. I dati del database Milvus sono memorizzati in ./ktem_app_data/user_data/vectorstore. È possibile eseguire il backup o copiare questa cartella per spostare l'installazione su un nuovo computer.

3. Conversare con i documenti

Tornate ora alla scheda Chat. La scheda Chat è composta da 3 aree: il pannello delle impostazioni di conversazione, dove si gestiscono le conversazioni e i riferimenti ai file; il pannello della chat per interagire con il chatbot; il pannello delle informazioni, che visualizza le prove di supporto, i punteggi di confidenza e le valutazioni di pertinenza delle risposte.

È possibile selezionare i documenti nel pannello delle impostazioni di conversazione. Quindi è sufficiente avviare RAG con i documenti digitando un messaggio nella casella di input e inviarlo al chatbot.

Se si desidera approfondire l'uso di kotaemon, è possibile ottenere una guida completa dalla documentazione ufficiale.