milvus-logo
LFAI
Home
  • Integrationen

Milvus in PrivateGPT verwenden

PrivateGPT ist ein produktionsreifes KI-Projekt, das es Nutzern ermöglicht, Fragen zu ihren Dokumenten mit Hilfe von Large Language Models zu stellen, ohne dass eine Internetverbindung erforderlich ist, wobei ein 100%iger Datenschutz gewährleistet ist. PrivateGPT bietet eine API, die in High-Level- und Low-Level-Blöcke unterteilt ist. Außerdem bietet es einen Gradio UI-Client und nützliche Tools wie Skripte zum Herunterladen von Massenmodellen und Skripte zum Einlesen. Das Konzept von PrivateGPT besteht darin, eine RAG-Pipeline zu umhüllen und ihre Primitive offenzulegen. Es ist sofort einsatzbereit und bietet eine vollständige Implementierung der API und der RAG-Pipeline.

In diesem Tutorial zeigen wir Ihnen, wie Sie Milvus als Backend-Vektordatenbank für PrivateGPT verwenden können.

Dieses Tutorial bezieht sich hauptsächlich auf die offizielle PrivateGPT-Installationsanleitung. Wenn Sie feststellen, dass diese Anleitung veraltete Teile enthält, können Sie vorrangig die offizielle Anleitung befolgen und eine Anfrage an uns stellen.

Grundvoraussetzungen für den Betrieb von PrivateGPT

1. Klonen Sie das PrivateGPT-Repository

Klonen Sie das Repository und navigieren Sie zu ihm:

$ git clone https://github.com/zylon-ai/private-gpt
$ cd private-gpt

2. Poetry installieren

Installieren Sie Poetry für die Verwaltung von Abhängigkeiten: Folgen Sie den Anweisungen auf der offiziellen Poetry-Website, um es zu installieren.

3. (Optional) Installieren Sie make

Um verschiedene Skripte auszuführen, müssen Sie make installieren.

macOS (mit Homebrew):

$ brew install make

Windows (unter Verwendung von Chocolatey):

$ choco install make

Verfügbare Module installieren

PrivateGPT erlaubt die Anpassung des Setups für einige Module, z.B. LLM, Embeddings, Vector Stores, UI.

In diesem Tutorium werden wir die folgenden Module verwenden:

  • LLM: Ollama
  • Einbettungen: Ollama
  • Vektorspeicher: Milvus
  • UI: Gradio

Führen Sie den folgenden Befehl aus, um mit Hilfe von poetry die erforderlichen Modulabhängigkeiten zu installieren:

$ poetry install --extras "llms-ollama embeddings-ollama vector-stores-milvus ui"

Starten Sie den Ollama-Dienst

Gehen Sie zu ollama.ai und folgen Sie den Anweisungen, um Ollama auf Ihrem Rechner zu installieren.

Nach der Installation stellen Sie sicher, dass die Ollama-Desktop-Anwendung geschlossen ist.

Starten Sie nun den Ollama-Dienst (es wird ein lokaler Inferenz-Server gestartet, der sowohl den LLM als auch die Einbettungen bedient):

$ ollama serve

Installieren Sie die zu verwendenden Modelle. settings-ollama.yaml ist standardmäßig auf den Benutzer llama3.1 8b LLM (~4GB) und nomic-embed-text Embeddings (~275MB) konfiguriert.

Standardmäßig zieht PrivateGPT die Modelle automatisch nach Bedarf. Dieses Verhalten kann durch Ändern der Eigenschaft ollama.autopull_models geändert werden.

Wenn Sie die Modelle manuell abrufen möchten, führen Sie die folgenden Befehle aus:

$ ollama pull llama3.1
$ ollama pull nomic-embed-text

Sie können optional zu Ihren bevorzugten Modellen in der Datei settings-ollama.yaml wechseln und diese manuell abrufen.

Milvus-Einstellungen ändern

Setzen Sie in der Datei settings-ollama.yaml den Vektorspeicher auf Milvus:

vectorstore:
  database: milvus

Sie können auch eine eigene Milvus-Konfiguration hinzufügen, um Ihre Einstellungen zu spezifizieren, etwa so:

milvus:
  uri: http://localhost:19530
  collection_name: my_collection

Die verfügbaren Konfigurationsoptionen sind:

Feld OptionBeschreibung
uriStandardmäßig ist "local_data/private_gpt/milvus/milvus_local.db" als lokale Datei eingestellt; Sie können auch einen leistungsfähigeren Milvus-Server auf Docker oder k8s, z. B. http://localhost:19530, als Ihre uri einrichten; Um Zilliz Cloud zu verwenden, passen Sie die uri und das Token an den öffentlichen Endpunkt und den API-Schlüssel in Zilliz Cloud an.
TokenPair mit Milvus Server auf Docker oder k8s oder Zilliz Cloud api key.
sammlung_nameDer Name der Sammlung, standardmäßig auf "milvus_db" eingestellt.
überschreibenÜberschreibt die Daten in der Sammlung, falls vorhanden, standardmäßig auf True gesetzt.

PrivateGPT starten

Sobald alle Einstellungen vorgenommen wurden, können Sie PrivateGPT mit einer Gradio-Benutzeroberfläche starten.

PGPT_PROFILES=ollama make run

Die UI wird unter http://0.0.0.0:8001 verfügbar sein.

Sie können mit der UI herumspielen und Fragen zu Ihren Dokumenten stellen.

Weitere Details finden Sie in der offiziellen PrivateGPT-Dokumentation.

Übersetzt vonDeepLogo

Try Managed Milvus for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
Feedback

War diese Seite hilfreich?