Tabel Pengetahuan dengan Milvus

Knowledge Table, yang dikembangkan oleh WhyHow AI, adalah paket sumber terbuka yang dirancang untuk memfasilitasi ekstraksi dan eksplorasi data terstruktur dari dokumen yang tidak terstruktur. Paket ini menyediakan antarmuka seperti spreadsheet bagi pengguna dan memungkinkan pembuatan representasi pengetahuan, seperti tabel dan grafik, melalui antarmuka kueri bahasa alami. Paket ini mencakup aturan ekstraksi yang dapat disesuaikan, opsi pemformatan, dan penelusuran data melalui sumbernya, sehingga dapat beradaptasi untuk beragam aplikasi. Paket ini mendukung integrasi tanpa batas ke dalam alur kerja RAG, yang melayani pengguna bisnis yang membutuhkan antarmuka yang ramah pengguna dan pengembang yang membutuhkan backend yang fleksibel untuk pemrosesan dokumen yang efisien.

Secara default, Knowledge Table menggunakan basis data Milvus untuk menyimpan dan mengambil data yang diekstrak. Hal ini memungkinkan pengguna untuk dengan mudah mencari, memfilter, dan menganalisis data menggunakan fitur-fitur canggih Milvus. Dalam tutorial ini, kami akan menunjukkan cara memulai dengan Tabel Pengetahuan dan Milvus.

Prasyarat

• Docker
• Docker Compose

Mengkloning proyek

$ git clone https://github.com/whyhow-ai/knowledge-table.git

Menyiapkan lingkungan

Anda akan menemukan berkas .env.example di direktori akar proyek. Salin berkas ini ke .env dan isi variabel lingkungan yang diperlukan.

Untuk Milvus, Anda harus mengatur variabel lingkungan MILVUS_DB_URI dan MILVUS_DB_TOKEN. Berikut adalah beberapa tips:

• Mengatur MILVUS_DB_URI sebagai berkas lokal, misalnya./milvus.db, adalah metode yang paling mudah, karena secara otomatis menggunakan Milvus Lite untuk menyimpan semua data dalam berkas ini.
• Jika Anda memiliki data berskala besar, misalnya lebih dari satu juta vektor, Anda dapat menyiapkan server Milvus yang lebih berkinerja tinggi di Docker atau Kubernetes. Dalam pengaturan ini, gunakan alamat dan port server sebagai uri Anda, misalnyahttp://localhost:19530. Jika Anda mengaktifkan fitur autentikasi pada Milvus, gunakan ":" sebagai token, jika tidak, jangan setel token.
• Jika Anda ingin menggunakan Zilliz Cloud, layanan cloud yang dikelola sepenuhnya untuk Milvus, sesuaikan MILVUS_DB_URI dan MILVUS_DB_TOKEN, yang sesuai dengan Public Endpoint dan Api key di Zilliz Cloud.

Selain Milvus, Anda juga harus mengatur lingkungan lain, misalnya OPENAI_API_KEY. Anda bisa mendapatkan masing-masing dari situs web masing-masing.

Memulai aplikasi

$ docker compose up -d --build

Menghentikan aplikasi

$ docker compose down

Mengakses proyek

Frontend dapat diakses di http://localhost:3000, dan backend dapat diakses di http://localhost:8000.

Anda dapat bermain-main dengan UI dan mencoba dengan dokumen Anda sendiri.

Untuk penggunaan demo lebih lanjut, Anda dapat merujuk ke dokumentasi resmi Knowledge Table.