Knowledge Table с Milvus
Knowledge Table, разработанный WhyHow AI, - это пакет с открытым исходным кодом, предназначенный для облегчения извлечения и изучения структурированных данных из неструктурированных документов. Он предоставляет пользователям интерфейс, похожий на электронную таблицу, и позволяет создавать представления знаний, такие как таблицы и графики, с помощью интерфейса запросов на естественном языке. Пакет включает настраиваемые правила извлечения, параметры форматирования и возможность отслеживания данных через их происхождение, что делает его пригодным для использования в различных приложениях. Он поддерживает бесшовную интеграцию в рабочие процессы RAG, удовлетворяя как бизнес-пользователей, нуждающихся в удобном интерфейсе, так и разработчиков, которым требуется гибкий бэкэнд для эффективной обработки документов.
По умолчанию Knowledge Table использует базу данных Milvus для хранения и получения извлеченных данных. Это позволяет пользователям легко искать, фильтровать и анализировать данные, используя мощные возможности Milvus. В этом руководстве мы покажем, как начать работу с Knowledge Table и Milvus.
Необходимые условия
- Docker
- Docker Compose
Клонирование проекта
$ git clone https://github.com/whyhow-ai/knowledge-table.git
Настройка окружения
В корневом каталоге проекта вы найдете файл .env.example
. Скопируйте этот файл в каталог .env
и заполните необходимые переменные окружения.
Для Milvus необходимо установить переменные окружения MILVUS_DB_URI
и MILVUS_DB_TOKEN
. Вот несколько советов:
- Установка
MILVUS_DB_URI
в качестве локального файла, например./milvus.db
, является наиболее удобным методом, так как он автоматически использует Milvus Lite для хранения всех данных в этом файле.- Если у вас большой объем данных, скажем, более миллиона векторов, вы можете настроить более производительный сервер Milvus на Docker или Kubernetes. В этом случае используйте адрес и порт сервера в качестве uri, например,
http://localhost:19530
. Если вы включили функцию аутентификации на Milvus, используйте "<ваше_имя_пользователя>:<ваш_пароль>" в качестве токена, в противном случае не задавайте токен.- Если вы хотите использовать Zilliz Cloud, полностью управляемый облачный сервис для Milvus, настройте
MILVUS_DB_URI
иMILVUS_DB_TOKEN
, которые соответствуют публичной конечной точке и ключу Api в Zilliz Cloud.
Помимо Milvus, необходимо настроить и другие среды, например OPENAI_API_KEY
. Их можно получить на соответствующих сайтах.
Запуск приложения
$ docker compose up -d --build
Остановка приложения
$ docker compose down
Доступ к проекту
Доступ к фронтенду можно получить по адресу http://localhost:3000
, а к бэкенду - по адресу http://localhost:8000
.
Вы можете поиграть с пользовательским интерфейсом и попробовать использовать свои собственные документы.
Для более подробного демонстрационного использования вы можете обратиться к официальной документации Knowledge Table.