🚀 Testen Sie Zilliz Cloud, die vollständig verwaltete Milvus, kostenlos – erleben Sie 10x schnellere Leistung! Jetzt testen>>

milvus-logo
LFAI
  • Home
  • Blog
  • Wie man 4 beliebte KI-Anwendungen mit Milvus erstellt

Wie man 4 beliebte KI-Anwendungen mit Milvus erstellt

  • Scenarios
April 08, 2021
milvus

blog cover.png blog cover.png

Milvus ist eine Open-Source-Vektordatenbank. Sie unterstützt das Hinzufügen, Löschen, Aktualisieren und Durchsuchen riesiger Vektordatensätze in nahezu Echtzeit, die durch Extraktion von Merkmalsvektoren aus unstrukturierten Daten mithilfe von KI-Modellen erstellt wurden. Mit einem umfassenden Satz intuitiver APIs und der Unterstützung mehrerer weit verbreiteter Indexbibliotheken (z. B. Faiss, NMSLIB und Annoy) beschleunigt Milvus die Entwicklung von Anwendungen für maschinelles Lernen und maschinelle Lernvorgänge (MLOps). Mit Milvus können Sie schnell ein Minimum Viable Product (MVP) entwickeln und dabei die Kosten in Grenzen halten.

"Welche Ressourcen stehen für die Entwicklung einer KI-Anwendung mit Milvus zur Verfügung?" wird in der Milvus-Community häufig gefragt. Zilliz, das Unternehmen hinter Milvus, hat eine Reihe von Demos entwickelt, die Milvus für die blitzschnelle Ähnlichkeitssuche nutzen, die intelligente Anwendungen ermöglicht. Der Quellcode der Milvus-Lösungen ist unter zilliz-bootcamp zu finden. Die folgenden interaktiven Szenarien demonstrieren natürliche Sprachverarbeitung (NLP), umgekehrte Bildsuche, Audiosuche und Computer Vision.

Probieren Sie die Lösungen aus, um praktische Erfahrungen mit bestimmten Szenarien zu sammeln! Teilen Sie Ihre eigenen Anwendungsszenarien über:


Springen Sie zu:


Verarbeitung natürlicher Sprache (Chatbots)

Mit Milvus können Chatbots erstellt werden, die natürliche Sprachverarbeitung nutzen, um einen Live-Operator zu simulieren, Fragen zu beantworten, Benutzer zu relevanten Informationen zu leiten und Arbeitskosten zu reduzieren. Um dieses Anwendungsszenario zu demonstrieren, hat Zilliz einen KI-gesteuerten Chatbot gebaut, der semantische Sprache versteht, indem Milvus mit BERT, einem Modell für maschinelles Lernen (ML), das für das NLP-Pre-Training entwickelt wurde, kombiniert wurde.

👉Quellcode:zilliz-bootcamp/intelligent_question_answering_v2

1.png 1.png

Wie man es benutzt

  1. Laden Sie einen Datensatz hoch, der Frage-Antwort-Paare enthält. Formatieren Sie Fragen und Antworten in zwei getrennten Spalten. Alternativ steht ein Beispieldatensatz zum Download bereit.

  2. Nachdem Sie Ihre Frage eingegeben haben, wird eine Liste ähnlicher Fragen aus dem hochgeladenen Datensatz abgerufen.

  3. Zeigen Sie die Antwort an, indem Sie die Frage auswählen, die Ihrer eigenen am ähnlichsten ist.

👉Video:[Demo] QA System Powered by Milvus

Wie es funktioniert

Die Fragen werden mithilfe des BERT-Modells von Google in Merkmalsvektoren umgewandelt, dann wird Milvus zur Verwaltung und Abfrage des Datensatzes verwendet.

Datenverarbeitung:

  1. BERT wird verwendet, um die hochgeladenen Frage-Antwort-Paare in 768-dimensionale Merkmalsvektoren zu konvertieren. Die Vektoren werden dann in Milvus importiert und mit individuellen IDs versehen.
  2. Die Vektor-IDs der Fragen und der entsprechenden Antworten werden in PostgreSQL gespeichert.

Suche nach ähnlichen Fragen:

  1. BERT wird verwendet, um Merkmalsvektoren aus der Eingabefrage eines Benutzers zu extrahieren.
  2. Milvus ruft die Vektor-IDs für Fragen ab, die der Eingabefrage am ähnlichsten sind.
  3. Das System schlägt die entsprechenden Antworten in PostgreSQL nach.


Systeme für die umgekehrte Bildsuche

Die umgekehrte Bildersuche verändert den E-Commerce durch personalisierte Produktempfehlungen und ähnliche Produktnachschlagetools, die den Umsatz steigern können. Für dieses Anwendungsszenario hat Zilliz ein System zur umgekehrten Bildersuche entwickelt, das Milvus mit VGG kombiniert, einem ML-Modell, das Bildmerkmale extrahieren kann.

👉Quellcode:zilliz-bootcamp/image_search

2.jpeg 2.jpeg

Wie man es benutzt

  1. Laden Sie einen gezippten Bilddatensatz hoch, der nur aus .jpg-Bildern besteht (andere Bilddateitypen werden nicht akzeptiert). Alternativ steht ein Beispieldatensatz zum Download bereit.
  2. Laden Sie ein Bild hoch, das als Sucheingabe für die Suche nach ähnlichen Bildern verwendet werden soll.

👉Video: [Demo] Bildsuche Powered by Milvus

Wie funktioniert es?

Bilder werden mit Hilfe des VGG-Modells in 512-dimensionale Merkmalsvektoren umgewandelt, dann wird Milvus zur Verwaltung und Abfrage des Datensatzes verwendet.

Datenverarbeitung:

  1. Das VGG-Modell wird verwendet, um den hochgeladenen Bilddatensatz in Merkmalsvektoren umzuwandeln. Die Vektoren werden dann in Milvus importiert und mit individuellen IDs versehen.
  2. Die Bildmerkmalsvektoren und die entsprechenden Pfade zu den Bilddateien werden in der CacheDB gespeichert.

Suche nach ähnlichen Bildern:

  1. VGG wird verwendet, um das von einem Benutzer hochgeladene Bild in Merkmalsvektoren umzuwandeln.
  2. Die Vektor-IDs der Bilder, die dem Eingabebild am ähnlichsten sind, werden von Milvus abgerufen.
  3. Das System sucht die entsprechenden Pfade der Bilddateien in der CacheDB.


Audio-Suchsysteme

Die Suche nach Sprache, Musik, Soundeffekten und anderen Arten von Audiodaten ermöglicht die schnelle Abfrage großer Mengen von Audiodaten und das Auffinden ähnlicher Klänge. Zu den Anwendungen gehören die Identifizierung ähnlicher Soundeffekte, die Minimierung von Verletzungen des geistigen Eigentums und vieles mehr. Um dieses Anwendungsszenario zu demonstrieren, hat Zilliz ein hocheffizientes Audio-Ähnlichkeitssuchsystem entwickelt, indem es Milvus mit PANNskombiniert hat - einemgroß angelegten, vortrainierten neuronalen Audionetzwerk, das für die Audio-Mustererkennung entwickelt wurde.

👉Quellcode:zilliz-bootcamp/audio_search 3.png3.png

Wie man es benutzt

  1. Laden Sie einen gezippten Audiodatensatz hoch, der nur aus .wav-Dateien besteht (andere Audiodateitypen werden nicht akzeptiert). Alternativ steht ein Beispieldatensatz zum Download zur Verfügung.
  2. Laden Sie eine .wav-Datei hoch, die als Sucheingabe für die Suche nach ähnlichen Audiodaten verwendet werden soll.

👉Video: [Demo] Audio-Suche powered by Milvus

Wie funktioniert es?

Die Audiodaten werden mit Hilfe von PANNs, groß angelegten, vortrainierten neuronalen Audionetzwerken, die für die Erkennung von Audiomustern entwickelt wurden, in Merkmalsvektoren umgewandelt. Anschließend wird Milvus zur Verwaltung und Abfrage des Datensatzes verwendet.

Verarbeitung der Daten:

  1. PANNs konvertiert Audio aus dem hochgeladenen Datensatz in Merkmalsvektoren. Die Vektoren werden dann in Milvus importiert und mit individuellen IDs versehen.
  2. Die IDs der Audio-Feature-Vektoren und die entsprechenden Pfade der .wav-Dateien werden in PostgreSQL gespeichert.

Suche nach ähnlichen Audiodaten:

  1. PANNs wird verwendet, um die von einem Benutzer hochgeladene Audiodatei in Feature-Vektoren zu konvertieren.
  2. Die Vektor-IDs der Audiodateien, die der hochgeladenen Datei am ähnlichsten sind, werden von Milvus durch Berechnung des inneren Produktabstands (IP) abgerufen.
  3. Das System sucht die entsprechenden Pfade zu den Audiodateien in MySQL.


Video-Objekterkennung (Computer Vision)

Die Erkennung von Videoobjekten wird unter anderem in den Bereichen Computer Vision, Bildabfrage und autonomes Fahren eingesetzt. Um dieses Anwendungsszenario zu demonstrieren, hat Zilliz ein System zur Video-Objekterkennung entwickelt, das Milvus mit Technologien und Algorithmen wie OpenCV, YOLOv3 und ResNet50 kombiniert.

👉Quellcode: zilliz-bootcamp/video_analysis

4.png 4.png

Wie man es benutzt

  1. Laden Sie einen gezippten Bilddatensatz hoch, der nur aus .jpg-Dateien besteht (andere Bilddateitypen werden nicht akzeptiert). Stellen Sie sicher, dass jede Bilddatei nach dem abgebildeten Objekt benannt ist. Alternativ steht ein Beispieldatensatz zum Download bereit.
  2. Laden Sie ein Video hoch, das Sie für die Analyse verwenden möchten.
  3. Klicken Sie auf die Schaltfläche Abspielen, um das hochgeladene Video mit den Objekterkennungsergebnissen in Echtzeit anzuzeigen.

👉Video: [Demo] Video Object Detection System Powered by Milvus

Wie funktioniert es?

Objektbilder werden mit ResNet50 in 2048-dimensionale Merkmalsvektoren umgewandelt. Dann wird Milvus zur Verwaltung und Abfrage des Datensatzes verwendet.

Datenverarbeitung:

  1. ResNet50 konvertiert Objektbilder in 2048-dimensionale Merkmalsvektoren. Die Vektoren werden dann in Milvus importiert und mit individuellen IDs versehen.
  2. Die IDs der Audio-Feature-Vektoren und die entsprechenden Pfade zu den Bilddateien werden in MySQL gespeichert.

Erkennung von Objekten im Video:

  1. OpenCV wird zum Trimmen des Videos verwendet.
  2. YOLOv3 wird verwendet, um Objekte im Video zu erkennen.
  3. ResNet50 wandelt die erkannten Objektbilder in 2048-dimensionale Merkmalsvektoren um.

Milvus sucht nach den ähnlichsten Objektbildern in dem hochgeladenen Datensatz. Entsprechende Objektnamen und Bilddateipfade werden aus MySQL abgerufen.

    Try Managed Milvus for Free

    Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

    Get Started

    Like the article? Spread the word

    Weiterlesen