Knowledge Table con Milvus

Knowledge Table, desarrollado por WhyHow AI, es un paquete de código abierto diseñado para facilitar la extracción y exploración de datos estructurados a partir de documentos no estructurados. Ofrece a los usuarios una interfaz similar a la de una hoja de cálculo y permite crear representaciones del conocimiento, como tablas y gráficos, a través de una interfaz de consulta en lenguaje natural. El paquete incluye reglas de extracción personalizables, opciones de formato y trazabilidad de datos mediante procedencia, lo que lo hace adaptable a diversas aplicaciones. Se integra a la perfección en los flujos de trabajo de RAG, lo que satisface tanto a los usuarios empresariales que necesitan una interfaz fácil de usar como a los desarrolladores que precisan un backend flexible para procesar documentos con eficacia.

Por defecto, Knowledge Table utiliza la base de datos Milvus para almacenar y recuperar los datos extraídos. Esto permite a los usuarios buscar, filtrar y analizar fácilmente los datos utilizando las potentes funciones de Milvus. En este tutorial, mostraremos cómo empezar a utilizar Knowledge Table y Milvus.

Requisitos previos

• Docker
• Docker Compose

Clonar el proyecto

$ git clone https://github.com/whyhow-ai/knowledge-table.git

Configurar el entorno

Encontrarás el archivo .env.example en el directorio raíz del proyecto. Copie este archivo en .env y rellene las variables de entorno necesarias.

Para Milvus, debe configurar las variables de entorno MILVUS_DB_URI y MILVUS_DB_TOKEN. He aquí algunos consejos:

• Establecer el MILVUS_DB_URI como un archivo local, por ejemplo./milvus.db, es el método más conveniente, ya que utiliza automáticamente Milvus Lite para almacenar todos los datos en este archivo.
• Si tiene una gran escala de datos, digamos más de un millón de vectores, puede configurar un servidor Milvus más eficiente en Docker o Kubernetes. En esta configuración, por favor utilice la dirección del servidor y el puerto como su uri, por ejemplohttp://localhost:19530. Si habilita la función de autenticación en Milvus, utilice ":" como token, de lo contrario no establezca el token.
• Si desea utilizar Zilliz Cloud, el servicio en la nube totalmente gestionado para Milvus, ajuste los MILVUS_DB_URI y MILVUS_DB_TOKEN, que corresponden al Public Endpoint y a la Api key en Zilliz Cloud.

Además de Milvus, también debe ajustar otros entornos, por ejemplo OPENAI_API_KEY. Puedes obtener cada uno de ellos en sus respectivos sitios web.

Iniciar la aplicación

$ docker compose up -d --build

Detener la aplicación

$ docker compose down

Acceso al proyecto

Se puede acceder al frontend en http://localhost:3000, y al backend en http://localhost:8000.

Puedes jugar con la interfaz de usuario y probar con tus propios documentos.

Para más información, consulta la documentación oficial de Knowledge Table.