Milvus in PrivateGPT verwenden

PrivateGPT ist ein produktionsreifes KI-Projekt, das es Nutzern ermöglicht, Fragen zu ihren Dokumenten mit Hilfe von Large Language Models zu stellen, ohne dass eine Internetverbindung erforderlich ist, wobei ein 100%iger Datenschutz gewährleistet ist. PrivateGPT bietet eine API, die in High-Level- und Low-Level-Blöcke unterteilt ist. Außerdem bietet es einen Gradio UI-Client und nützliche Tools wie Skripte zum Herunterladen von Massenmodellen und Skripte zum Einlesen. Das Konzept von PrivateGPT besteht darin, eine RAG-Pipeline zu umhüllen und ihre Primitive offenzulegen. Es ist sofort einsatzbereit und bietet eine vollständige Implementierung der API und der RAG-Pipeline.

In diesem Tutorial zeigen wir Ihnen, wie Sie Milvus als Backend-Vektordatenbank für PrivateGPT verwenden können.

Grundvoraussetzungen für den Betrieb von PrivateGPT

1. Klonen Sie das PrivateGPT-Repository

Klonen Sie das Repository und navigieren Sie zu ihm:

$ git clone https://github.com/zylon-ai/private-gpt
$ cd private-gpt

2. Poetry installieren

Installieren Sie Poetry für die Verwaltung von Abhängigkeiten: Folgen Sie den Anweisungen auf der offiziellen Poetry-Website, um es zu installieren.

3. (Optional) Installieren Sie make

Um verschiedene Skripte auszuführen, müssen Sie make installieren.

macOS (mit Homebrew):

$ brew install make

Windows (unter Verwendung von Chocolatey):

$ choco install make

Verfügbare Module installieren

PrivateGPT erlaubt die Anpassung des Setups für einige Module, z.B. LLM, Embeddings, Vector Stores, UI.

In diesem Tutorium werden wir die folgenden Module verwenden:

• LLM: Ollama
• Einbettungen: Ollama
• Vektorspeicher: Milvus
• UI: Gradio

Führen Sie den folgenden Befehl aus, um mit Hilfe von poetry die erforderlichen Modulabhängigkeiten zu installieren:

$ poetry install --extras "llms-ollama embeddings-ollama vector-stores-milvus ui"

Starten Sie den Ollama-Dienst

Gehen Sie zu ollama.ai und folgen Sie den Anweisungen, um Ollama auf Ihrem Rechner zu installieren.

Nach der Installation stellen Sie sicher, dass die Ollama-Desktop-Anwendung geschlossen ist.

Starten Sie nun den Ollama-Dienst (es wird ein lokaler Inferenz-Server gestartet, der sowohl den LLM als auch die Einbettungen bedient):

$ ollama serve

Installieren Sie die zu verwendenden Modelle. settings-ollama.yaml ist standardmäßig auf den Benutzer llama3.1 8b LLM (~4GB) und nomic-embed-text Embeddings (~275MB) konfiguriert.

Standardmäßig zieht PrivateGPT die Modelle automatisch nach Bedarf. Dieses Verhalten kann durch Ändern der Eigenschaft ollama.autopull_models geändert werden.

Wenn Sie die Modelle manuell abrufen möchten, führen Sie die folgenden Befehle aus:

$ ollama pull llama3.1
$ ollama pull nomic-embed-text

Sie können optional zu Ihren bevorzugten Modellen in der Datei settings-ollama.yaml wechseln und diese manuell abrufen.

Milvus-Einstellungen ändern

Setzen Sie in der Datei settings-ollama.yaml den Vektorspeicher auf Milvus:

vectorstore:
  database: milvus

Sie können auch eine eigene Milvus-Konfiguration hinzufügen, um Ihre Einstellungen zu spezifizieren, etwa so:

milvus:
  uri: http://localhost:19530
  collection_name: my_collection

Die verfügbaren Konfigurationsoptionen sind:

Feld Option	Beschreibung
uri	Standardmäßig ist "local_data/private_gpt/milvus/milvus_local.db" als lokale Datei eingestellt; Sie können auch einen leistungsfähigeren Milvus-Server auf Docker oder k8s, z. B. http://localhost:19530, als Ihre uri einrichten; Um Zilliz Cloud zu verwenden, passen Sie die uri und das Token an den öffentlichen Endpunkt und den API-Schlüssel in Zilliz Cloud an.
Token	Pair mit Milvus Server auf Docker oder k8s oder Zilliz Cloud api key.
sammlung_name	Der Name der Sammlung, standardmäßig auf "milvus_db" eingestellt.
überschreiben	Überschreibt die Daten in der Sammlung, falls vorhanden, standardmäßig auf True gesetzt.

PrivateGPT starten

Sobald alle Einstellungen vorgenommen wurden, können Sie PrivateGPT mit einer Gradio-Benutzeroberfläche starten.

PGPT_PROFILES=ollama make run

Die UI wird unter http://0.0.0.0:8001 verfügbar sein.

Sie können mit der UI herumspielen und Fragen zu Ihren Dokumenten stellen.

Weitere Details finden Sie in der offiziellen PrivateGPT-Dokumentation.