Einführung von Milvus Lite: die leichtgewichtige Version von Milvus

Wichtiger Hinweis

Wir haben Milvus Lite im Juni 2024 aktualisiert. Damit können KI-Entwickler Anwendungen schneller erstellen und gleichzeitig eine konsistente Erfahrung über verschiedene Bereitstellungsoptionen hinweg gewährleisten, einschließlich Milvus auf Kurbernetes, Docker und verwaltete Cloud-Dienste. Milvus Lite lässt sich auch in verschiedene KI-Frameworks und -Technologien integrieren und vereinfacht die Entwicklung von KI-Anwendungen mit Vektorsuchfunktionen. Weitere Informationen finden Sie unter den folgenden Referenzen:

• Milvus Lite Launch Blog: https://milvus.io/blog/introducing-milvus-lite.md

• Milvus-Lite-Dokumentation: https://milvus.io/docs/quickstart.md

• Milvus Lite GitHub-Repository: https://github.com/milvus-io/milvus-lite

Milvus ist eine Open-Source-Vektordatenbank, die speziell für die Indizierung, Speicherung und Abfrage von Einbettungsvektoren entwickelt wurde, die von tiefen neuronalen Netzen und anderen Modellen des maschinellen Lernens (ML) in Milliardenhöhe erzeugt werden. Sie ist zu einer beliebten Wahl für viele Unternehmen, Forscher und Entwickler geworden, die Ähnlichkeitssuchen in großen Datensätzen durchführen müssen.

Manche Benutzer finden die Vollversion von Milvus jedoch zu schwerfällig oder zu komplex. Um dieses Problem zu lösen, hat Bin Ji, einer der aktivsten Mitwirkenden in der Milvus-Gemeinschaft, Milvus Lite entwickelt, eine schlanke Version von Milvus.

Was ist Milvus Lite?

Wie bereits erwähnt, ist Milvus Lite eine vereinfachte Alternative zu Milvus, die viele Vorteile und Nutzen bietet.

• Sie können es in Ihre Python-Anwendung integrieren, ohne zusätzliches Gewicht zu erzeugen.
• Es ist in sich geschlossen und benötigt keine weiteren Abhängigkeiten, da das eigenständige Milvus mit eingebettetem Etcd und lokalem Speicher arbeiten kann.
• Sie können ihn als Python-Bibliothek importieren und ihn als eigenständigen Server mit Befehlszeilenschnittstelle (CLI) verwenden.
• Er arbeitet reibungslos mit Google Colab und Jupyter Notebook zusammen.
• Sie können Ihre Arbeit und Ihren Code sicher auf andere Milvus-Instanzen (Standalone-, Cluster- und vollständig verwaltete Versionen) migrieren, ohne dass ein Datenverlust droht.

Wann sollten Sie Milvus Lite verwenden?

Milvus Lite ist vor allem in den folgenden Situationen sehr hilfreich:

• Wenn Sie es vorziehen, Milvus ohne Container-Techniken und -Tools wie Milvus Operator, Helm oder Docker Compose zu verwenden.
• Wenn Sie für die Nutzung von Milvus keine virtuellen Maschinen oder Container benötigen.
• Wenn Sie Milvus-Funktionen in Ihre Python-Anwendungen einbinden möchten.
• Wenn Sie eine Milvus-Instanz in Colab oder Notebook für ein schnelles Experiment aufsetzen möchten.

Hinweis: Wir raten davon ab, Milvus Lite in einer Produktionsumgebung zu verwenden oder wenn Sie hohe Leistung, hohe Verfügbarkeit oder hohe Skalierbarkeit benötigen. Ziehen Sie stattdessen die Verwendung von Milvus-Clustern oder voll verwaltetem Milvus auf Zilliz Cloud für die Produktion in Betracht.

Wie fängt man mit Milvus Lite an?

Werfen wir nun einen Blick darauf, wie Milvus Lite installiert, konfiguriert und verwendet wird.

Voraussetzungen

Um Milvus Lite zu verwenden, stellen Sie bitte sicher, dass Sie die folgenden Anforderungen erfüllt haben:

• Installiertes Python 3.7 oder eine neuere Version.
• Sie verwenden eines der unten aufgeführten verifizierten Betriebssysteme:
  • Ubuntu >= 18.04 (x86_64)
  • CentOS >= 7.0 (x86_64)
  • MacOS >= 11.0 (Apple Silicon)

Anmerkungen:

1. Milvus Lite verwendet manylinux2014 als Basis-Image, wodurch es mit den meisten Linux-Distributionen für Linux-Benutzer kompatibel ist.
2. Der Betrieb von Milvus Lite unter Windows ist ebenfalls möglich, obwohl dies noch nicht vollständig verifiziert wurde.

Milvus Lite installieren

Milvus Lite ist auf PyPI verfügbar, so dass Sie es über pip installieren können.

$ python3 -m pip install milvus

Sie können es auch mit PyMilvus wie folgt installieren:

$ python3 -m pip install milvus[client]

Milvus Lite verwenden und starten

Laden Sie das Beispiel-Notizbuch aus dem Beispiel-Ordner unseres Projekt-Repositorys herunter. Sie haben zwei Möglichkeiten, Milvus Lite zu verwenden: Entweder Sie importieren es als Python-Bibliothek oder Sie starten es als eigenständigen Server auf Ihrem Rechner unter Verwendung der CLI.

• Um Milvus Lite als Python-Modul zu starten, führen Sie die folgenden Befehle aus:

from milvus import default_server
from pymilvus import connections, utility

# Start your milvus server
default_server.start()

# Now you can connect with localhost and the given port
# Port is defined by default_server.listen_port
connections.connect(host='127.0.0.1', port=default_server.listen_port)

# Check if the server is ready.
print(utility.get_server_version())

# Stop your milvus server
default_server.stop()

• Um Milvus Lite zu unterbrechen oder anzuhalten, verwenden Sie die Anweisung with.

from milvus import default_server

with default_server:
  # Milvus Lite has already started, use default_server here.
  connections.connect(host='127.0.0.1', port=default_server.listen_port)

• Um Milvus Lite als CLI-basierten Standalone-Server zu starten, führen Sie den folgenden Befehl aus:

milvus-server

Nachdem Sie Milvus Lite gestartet haben, können Sie PyMilvus oder ein anderes Tool Ihrer Wahl verwenden, um sich mit dem Standalone-Server zu verbinden.

Starten von Milvus Lite in einem Debug-Modus

• Um Milvus Lite in einem Debug-Modus als Python-Modul zu starten, führen Sie die folgenden Befehle aus:

from milvus import debug_server, MilvusServer

debug_server.run()

# Or you can create a MilvusServer by yourself
# server = MilvusServer(debug=True)

• Um den Standalone-Server in einem Debug-Modus zu starten, führen Sie den folgenden Befehl aus:

milvus-server --debug

Persistieren von Daten und Protokollen

• Um ein lokales Verzeichnis für Milvus Lite zu erstellen, das alle relevanten Daten und Protokolle enthält, führen Sie die folgenden Befehle aus:

from milvus import default_server

with default_server:
  default_server.set_base_dir('milvus_data')

• Um alle vom Standalone-Server erzeugten Daten und Protokolle auf Ihrem lokalen Laufwerk zu speichern, führen Sie den folgenden Befehl aus:

$ milvus-server --data milvus_data

Milvus Lite konfigurieren

Die Konfiguration von Milvus Lite ähnelt der Einrichtung von Milvus-Instanzen über Python-APIs oder CLI.

• Um Milvus Lite mit Hilfe von Python-APIs zu konfigurieren, verwenden Sie die config.set API einer MilvusServer Instanz sowohl für die Grund- als auch für die Zusatzeinstellungen:

from milvus import default_server

with default_server:
  default_server.config.set('system_Log_level', 'info')
  default_server.config.set('proxy_port', 19531)
  default_server.config.set('dataCoord.segment.maxSize', 1024)

• Um Milvus Lite mit CLI zu konfigurieren, führen Sie den folgenden Befehl für die Grundeinstellungen aus:

$ milvus-server --system-log-level info
$ milvus-server --proxy-port 19531

• Oder führen Sie den folgenden Befehl für zusätzliche Konfigurationen aus.

$ milvus-server --extra-config dataCoord.segment.maxSize=1024

Alle konfigurierbaren Elemente sind in der Vorlage config.yaml enthalten, die mit dem Milvus-Paket geliefert wird.

Weitere technische Details zur Installation und Konfiguration von Milvus Lite finden Sie in unserer Dokumentation.

Zusammenfassung

Milvus Lite ist eine ausgezeichnete Wahl für alle, die die Fähigkeiten von Milvus in einem kompakten Format suchen. Ob Sie Forscher, Entwickler oder Datenwissenschaftler sind, es lohnt sich, diese Option zu erkunden.

Milvus Lite ist auch eine wunderbare Bereicherung für die Open-Source-Gemeinschaft und zeigt die außergewöhnliche Arbeit seiner Mitwirkenden. Dank der Bemühungen von Bin Ji ist Milvus nun für mehr Nutzer verfügbar. Wir können es kaum erwarten, die innovativen Ideen zu sehen, die Bin Ji und andere Mitglieder der Milvus-Community in Zukunft hervorbringen werden.

Lassen Sie uns in Kontakt bleiben!

Wenn Sie Probleme bei der Installation oder Verwendung von Milvus Lite haben, können Sie hier ein Problem melden oder uns über Twitter oder LinkedIn kontaktieren. Sie sind auch herzlich eingeladen, unserem Slack-Kanal beizutreten, um mit unseren Ingenieuren und der gesamten Community zu chatten, oder besuchen Sie unsere Dienstagssprechstunde!