Tabela de conhecimentos com Milvus

A Knowledge Table, desenvolvida pela WhyHow AI, é um pacote de código aberto concebido para facilitar a extração e a exploração de dados estruturados a partir de documentos não estruturados. Fornece aos utilizadores uma interface semelhante a uma folha de cálculo e permite a criação de representações de conhecimentos, como tabelas e gráficos, através de uma interface de consulta em linguagem natural. O pacote inclui regras de extração personalizáveis, opções de formatação e rastreabilidade de dados através da proveniência, tornando-o adaptável a diversas aplicações. Suporta uma integração perfeita nos fluxos de trabalho RAG, satisfazendo tanto os utilizadores empresariais que necessitam de uma interface de fácil utilização como os programadores que necessitam de um backend flexível para um processamento eficiente de documentos.

Por defeito, a Knowledge Table utiliza a base de dados Milvus para armazenar e recuperar os dados extraídos. Isto permite aos utilizadores pesquisar, filtrar e analisar facilmente os dados utilizando as poderosas funcionalidades do Milvus. Neste tutorial, mostraremos como começar a usar a Knowledge Table e o Milvus.

Pré-requisitos

• Docker
• Docker Compose

Clonando o projeto

$ git clone https://github.com/whyhow-ai/knowledge-table.git

Configurar o ambiente

Você encontrará o arquivo .env.example no diretório raiz do projeto. Copie este ficheiro para .env e preencha as variáveis de ambiente necessárias.

Para o Milvus, deve definir as variáveis de ambiente MILVUS_DB_URI e MILVUS_DB_TOKEN. Seguem-se algumas sugestões:

• Definir o MILVUS_DB_URI como um ficheiro local, por exemplo,./milvus.db, é o método mais conveniente, uma vez que utiliza automaticamente o Milvus Lite para armazenar todos os dados neste ficheiro.
• Se tiver uma grande escala de dados, digamos mais de um milhão de vectores, pode configurar um servidor Milvus mais eficiente em Docker ou Kubernetes. Nesta configuração, use o endereço e a porta do servidor como seu uri, por exemplo,http://localhost:19530. Se você ativar o recurso de autenticação no Milvus, use "<seu_nome_de_usuário>:<sua_senha>" como o token, caso contrário, não defina o token.
• Se pretender utilizar o Zilliz Cloud, o serviço de cloud totalmente gerido para o Milvus, ajuste os endereços MILVUS_DB_URI e MILVUS_DB_TOKEN, que correspondem ao Public Endpoint e à chave Api no Zilliz Cloud.

Para além do Milvus, deve também definir outros ambientes, por exemplo, OPENAI_API_KEY. Pode obter cada um destes ambientes nos respectivos sites.

Iniciar a aplicação

$ docker compose up -d --build

Parar a aplicação

$ docker compose down

Aceder ao projeto

O frontend pode ser acedido em http://localhost:3000, e o backend pode ser acedido em http://localhost:8000.

Pode brincar com a interface do utilizador e experimentar com os seus próprios documentos.

Para mais demonstrações de utilização, pode consultar a documentação oficial da Knowledge Table.