Voraussetzungen für die Installation von Milvus mit GPU
Auf dieser Seite werden die Hardware- und Softwareanforderungen für die Einrichtung von Milvus mit GPU-Unterstützung aufgeführt.
Compute-Fähigkeit
Die Rechenleistung Ihres GPU-Geräts muss eine der folgenden sein: 6.0, 7.0, 7.5, 8.0, 8.6, 9.0.
Um zu überprüfen, ob Ihr GPU-Gerät die Anforderungen erfüllt, prüfen Sie Ihre GPU-Rechenleistung auf der NVIDIA-Entwickler-Website.
NVIDIA-Treiber
Der NVIDIA-Treiber für Ihr GPU-Gerät muss auf einer der unterstützten Linux-Distributionen installiert sein, und das NVIDIA Container Toolkit muss mit Hilfe dieser Anleitung installiert worden sein.
Benutzer von Ubuntu 22.04 können den Treiber und das Container-Toolkit mit den folgenden Befehlen installieren:
$ sudo apt install --no-install-recommends nvidia-headless-545 nvidia-utils-545
Für Benutzer anderer Betriebssysteme lesen Sie bitte die offizielle Installationsanleitung.
Sie können überprüfen, ob der Treiber korrekt installiert wurde, indem Sie den folgenden Befehl ausführen:
$ modinfo nvidia | grep "^version"
version: 545.29.06
Es wird empfohlen, die Treiber der Version 545 und höher zu verwenden.
Software-Anforderungen
Es wird empfohlen, den Kubernetes-Cluster auf Linux-Plattformen zu betreiben.
- kubectl ist das Befehlszeilentool für Kubernetes. Verwenden Sie eine kubectl-Version, die innerhalb eines geringfügigen Versionsunterschieds zu Ihrem Cluster liegt. Die Verwendung der neuesten Version von kubectl hilft, unvorhergesehene Probleme zu vermeiden.
- minikube ist erforderlich, wenn Sie einen Kubernetes-Cluster lokal betreiben. minikube benötigt Docker als Abhängigkeit. Stellen Sie sicher, dass Sie Docker installieren, bevor Sie Milvus mit Helm installieren. Weitere Informationen finden Sie unter Get Docker.
| Das Betriebssystem | Software | Hinweis |
|---|---|---|
| Linux-Plattformen |
| Weitere Informationen finden Sie in den Helm Docs. |
Häufig gestellte Fragen
Wie kann ich einen K8s-Cluster zu Testzwecken lokal starten?
Sie können Tools wie minikube, kind und Kubeadm verwenden, um schnell einen Kubernetes-Cluster lokal einzurichten. Das folgende Verfahren verwendet minikube als Beispiel.
- Minikube herunterladen
Rufen Sie die Seite Get Started auf, prüfen Sie, ob Sie die im Abschnitt What you'll need aufgelisteten Bedingungen erfüllen, klicken Sie auf die Schaltflächen, die Ihre Zielplattform beschreiben, und kopieren Sie die Befehle zum Herunterladen und Installieren der Binärdatei.
- Starten eines K8s-Clusters mit minikube
$ minikube start
- Überprüfen des Status des K8s-Clusters
Sie können den Status des installierten K8s-Clusters mit dem folgenden Befehl überprüfen.
$ kubectl cluster-info
Stellen Sie sicher, dass Sie über kubectl auf den K8s-Cluster zugreifen können. Wenn Sie kubectl nicht lokal installiert haben, siehe Verwenden von kubectl innerhalb von minikube.
Wie kann ich einen K8s-Cluster mit GPU-Worker-Nodes starten?
Wenn Sie GPU-fähige Worker Nodes verwenden möchten, können Sie die folgenden Schritte ausführen, um einen K8s-Cluster mit GPU-Worker Nodes zu erstellen. Wir empfehlen, Milvus auf einem K8s-Cluster mit GPU-Worker-Nodes zu installieren und die standardmäßig bereitgestellte Speicherklasse zu verwenden.
- GPU-Worker-Nodes vorbereiten
Um GPU-fähige Worker-Knoten zu verwenden, befolgen Sie die Schritte in Bereiten Sie Ihre GPU-Knoten vor.
- Aktivieren der GPU-Unterstützung auf K8s
Setzen Sie das nvidia-device-plugin mit Helm ein, indem Sie die folgenden Schritte ausführen.
Zeigen Sie nach dem Einrichten die GPU-Ressourcen mit dem folgenden Befehl an. Ersetzen Sie <gpu-worker-node> durch den tatsächlichen Knotennamen.
$ kubectl describe node <gpu-worker-node>
Capacity:
...
nvidia.com/gpu: 4
...
Allocatable:
...
nvidia.com/gpu: 4
...
```
