Kotaemon RAG con Milvus
Kotaemon è un'interfaccia RAG open-source pulita e personalizzabile per chattare con i documenti. Costruita pensando sia agli utenti finali che agli sviluppatori.
Kotaemon fornisce un'interfaccia web di QA dei documenti personalizzabile e multiutente che supporta LLM locali e basati su API. Offre una pipeline RAG ibrida con recupero full-text e vettoriale, QA multimodale per documenti con figure e tabelle e citazioni avanzate con anteprime dei documenti. Supporta metodi di ragionamento complessi come ReAct e ReWOO e fornisce impostazioni configurabili per il reperimento e la generazione.
Questo tutorial vi guiderà su come personalizzare la vostra applicazione kotaemon utilizzando Milvus.
Prerequisiti
Installazione
Si consiglia di installare kotaemon in questo modo:
# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon
git clone https://github.com/Cinnamon/kotaemon
cd kotaemon
pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"
Oltre a questo modo, esistono altri modi per installare kotaemon. Per maggiori dettagli, consultare la documentazione ufficiale.
Impostare Milvus come archivio vettoriale predefinito
Per cambiare l'archiviazione vettoriale predefinita in Milvus, è necessario modificare il file flowsettings.py
cambiando KH_VECTORSTORE
in:
"__type__": "kotaemon.storages.MilvusVectorStore"
Imposta variabili d'ambiente
è possibile configurare i modelli tramite il file .env
con le informazioni necessarie per connettersi ai LLM e ai modelli di embedding, ad esempio OpenAI, Azure, Ollama, ecc.
Eseguire Kotaemon
Dopo aver impostato le variabili d'ambiente e modificato la memorizzazione dei vettori, è possibile eseguire kotaemon con il seguente comando:
python app.py
Il nome utente e la password predefiniti sono: admin
/ admin
Avviare RAG con kotaemon
1. Aggiungere i modelli di intelligenza artificiale
Nella scheda Resources
è possibile aggiungere e impostare i modelli LLM e di incorporazione. È possibile aggiungere più modelli e impostarli come attivi o inattivi. È sufficiente fornirne almeno uno. È anche possibile fornire più modelli per consentire il passaggio da uno all'altro.
2. Caricare i documenti
Per poter eseguire l'AQ sui documenti, è necessario caricarli nell'applicazione. Accedendo alla scheda File Index
, è possibile caricare e gestire i documenti personalizzati.
Per impostazione predefinita, tutti i dati dell'applicazione sono memorizzati nella cartella ./ktem_app_data
. I dati del database Milvus sono memorizzati in ./ktem_app_data/user_data/vectorstore
. È possibile eseguire il backup o copiare questa cartella per spostare l'installazione su un nuovo computer.
3. Conversare con i documenti
Tornate ora alla scheda Chat
. La scheda Chat è composta da 3 aree: il pannello delle impostazioni di conversazione, dove si gestiscono le conversazioni e i riferimenti ai file; il pannello della chat per interagire con il chatbot; il pannello delle informazioni, che visualizza le prove di supporto, i punteggi di confidenza e le valutazioni di pertinenza delle risposte.
È possibile selezionare i documenti nel pannello delle impostazioni di conversazione. Quindi è sufficiente avviare RAG con i documenti digitando un messaggio nella casella di input e inviarlo al chatbot.
Se si desidera approfondire l'uso di kotaemon, è possibile ottenere una guida completa dalla documentazione ufficiale.