Kotaemon RAG dengan Milvus

Kotaemon adalah UI RAG yang bersih dan dapat disesuaikan dari sumber terbuka untuk mengobrol dengan dokumen Anda. Dibangun dengan mempertimbangkan pengguna akhir dan pengembang.

Kotaemon menyediakan web-UI QA dokumen multi-pengguna yang dapat disesuaikan dan mendukung LLM lokal dan berbasis API. Menawarkan pipeline RAG hibrida dengan pengambilan teks dan vektor lengkap, QA multi-modal untuk dokumen dengan gambar dan tabel, dan kutipan tingkat lanjut dengan pratinjau dokumen. Ini mendukung metode penalaran yang kompleks seperti ReAct dan ReWOO, dan menyediakan pengaturan yang dapat dikonfigurasi untuk pengambilan dan pembuatan.

Tutorial ini akan memandu Anda tentang cara menyesuaikan aplikasi kotaemon Anda menggunakan Milvus.

Prasyarat

Instalasi

Kami merekomendasikan untuk menginstal kotaemon dengan cara ini:

# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon

git clone https://github.com/Cinnamon/kotaemon
cd kotaemon

pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"

Selain cara ini, ada beberapa cara lain untuk menginstal kotaemon. Anda dapat merujuk pada dokumentasi resmi untuk informasi lebih lanjut.

Mengatur Milvus sebagai penyimpanan vektor default

Untuk mengubah penyimpanan vektor default menjadi Milvus, Anda harus memodifikasi berkas flowsettings.py dengan mengganti KH_VECTORSTORE:

"__type__": "kotaemon.storages.MilvusVectorStore"

Mengatur Variabel Lingkungan

Anda dapat mengonfigurasi model melalui file .env dengan informasi yang dibutuhkan untuk terhubung ke LLM dan model penyematan. misalnya OpenAI, Azure, Ollama, dll.

Jalankan Kotaemon

Setelah mengatur variabel lingkungan dan mengubah penyimpanan vektor, Anda dapat menjalankan kotaemon dengan menjalankan perintah berikut:

python app.py

Nama pengguna / kata sandi default adalah: admin / admin

Memulai RAG dengan kotaemon

1. Menambahkan model AI Anda

Pada tab Resources, Anda dapat menambahkan dan mengatur LLM dan model penyematan. Anda dapat menambahkan beberapa model dan mengaturnya sebagai aktif atau tidak aktif. Anda hanya perlu menyediakan setidaknya satu model. Anda juga dapat menyediakan beberapa model untuk memungkinkan peralihan di antara mereka.

2. Unggah dokumen Anda

Untuk melakukan QA pada dokumen Anda, Anda perlu mengunggahnya ke aplikasi terlebih dahulu. Buka tab File Index, dan Anda dapat mengunggah dan mengelola dokumen khusus Anda.

Secara default, semua data aplikasi disimpan di folder ./ktem_app_data. Data basis data Milvus disimpan di ./ktem_app_data/user_data/vectorstore. Anda dapat mencadangkan atau menyalin folder ini untuk memindahkan instalasi Anda ke mesin yang baru.

3. Mengobrol dengan dokumen Anda

Sekarang arahkan kembali ke tab Chat. Tab Obrolan terdiri dari 3 wilayah: Panel Pengaturan Percakapan, tempat Anda mengelola percakapan dan referensi file; Panel Obrolan untuk berinteraksi dengan chatbot; dan Panel Informasi, yang menampilkan bukti pendukung, skor kepercayaan, dan peringkat relevansi untuk jawaban.

Anda dapat memilih dokumen Anda di Panel Pengaturan Percakapan. Kemudian mulai saja RAG dengan dokumen Anda dengan mengetik pesan di kotak input dan kirimkan ke chatbot.

Jika Anda ingin mendalami cara menggunakan kotaemon, Anda bisa mendapatkan panduan lengkapnya dari dokumentasi resmi.