Utilizar o Milvus com o SambaNova

O SambaNova é uma plataforma tecnológica de IA inovadora que acelera a implementação de capacidades avançadas de IA e de aprendizagem profunda. Concebida para utilização empresarial, permite às organizações tirar partido da IA generativa para um melhor desempenho e eficiência. Ao fornecer soluções de ponta como o SambaNova Suite e o DataScale, a plataforma permite que as empresas extraiam informações valiosas dos seus dados, impulsionando melhorias operacionais e promovendo novas oportunidades no cenário da IA.

Os SambaNova AI Starter Kits são um conjunto de recursos de código aberto concebidos para ajudar os programadores e as empresas a implementar aplicações orientadas para a IA com o SambaNova. Estes kits fornecem exemplos práticos e guias que facilitam a implementação de vários casos de utilização de IA, tornando mais fácil para os utilizadores aproveitarem a tecnologia avançada do SambaNova.

Este tutorial aproveita a integração do Milvus no SambaNova AI Starter Kits para criar um sistema de recuperação de conhecimento empresarial, semelhante ao RAG (Retrieval-Augmented Generation), para recuperar e responder com base nos documentos privados da empresa.

Pré-requisitos

Recomendamos o uso de Python >= 3.10 e < 3.12.

Visite o SambaNova Cloud para obter uma chave de API do SambaNova.

Clonar o repositório

$ git clone https://github.com/sambanova/ai-starter-kit.git
$ d ai-starter-kit/enterprise_knowledge_retriever

Alterar o tipo de armazenamento de vetores

Altere o armazenamento de vetores definindo db_type='milvus' nas funções create_vector_store() e load_vdb() em src/document_retrieval.py.

...
vectorstore = self.vectordb.create_vector_store(
    ..., db_type='milvus'
)
...
vectorstore = self.vectordb.load_vdb(..., db_type='milvus', ...)

Instalar dependências

Instale as dependências necessárias executando o seguinte comando:

python3 -m venv enterprise_knowledge_env
source enterprise_knowledge_env/bin/activate
pip install -r requirements.txt

Iniciar a aplicação

Utilize o seguinte comando para iniciar a aplicação:

$ streamlit run streamlit/app.py --browser.gatherUsageStats false 

Depois disso, verá a interface do utilizador no seu browser:http://localhost:8501/

Depois de definir a sua chave de API do SambaNova na IU, pode brincar com a IU e fazer perguntas sobre os seus documentos.

Para obter mais detalhes, consulte a documentação oficial do Enterprise Knowledge Retrieval of SambaNova AI Starter Kits.