Wir haben ein zweisprachiges semantisches Hervorhebungsmodell für die RAG-Produktion und die KI-Suche trainiert und als Open-Source bereitgestellt

Ganz gleich, ob Sie eine Produktsuche, eine RAG-Pipeline oder einen KI-Agenten entwickeln, die Benutzer benötigen letztlich dasselbe: eine schnelle Möglichkeit, um zu erkennen, warum ein Ergebnis relevant ist. Hervorhebungen helfen dabei, indem sie den genauen Text markieren, der die Übereinstimmung unterstützt, so dass die Benutzer nicht das gesamte Dokument scannen müssen.

Die meisten Systeme basieren immer noch auf der Hervorhebung von Schlüsselwörtern. Wenn ein Benutzer nach "iPhone-Leistung" sucht, hebt das System die genauen Token "iPhone" und "Leistung" hervor. Dies funktioniert jedoch nicht mehr, sobald der Text dieselbe Idee mit unterschiedlichen Formulierungen ausdrückt. Eine Beschreibung wie "A15 Bionic-Chip, über eine Million Benchmarks, flüssig und ohne Verzögerung" bezieht sich eindeutig auf die Leistung, wird aber nicht hervorgehoben, weil die Schlüsselwörter nie vorkommen.

Diesemantische Hervorhebung löst dieses Problem. Anstatt exakte Zeichenfolgen abzugleichen, werden Textabschnitte identifiziert, die semantisch mit der Anfrage übereinstimmen. Für RAG-Systeme, KI-Suche und Agenten - bei denen die Relevanz von der Bedeutung und nicht von der Oberflächenform abhängt - liefert dies präzisere, zuverlässigere Erklärungen, warum ein Dokument abgerufen wurde.

Bestehende Methoden zur semantischen Hervorhebung sind jedoch nicht für den produktiven Einsatz von KI geeignet. Nach der Evaluierung aller verfügbaren Lösungen stellten wir fest, dass keine die Präzision, Latenz, mehrsprachige Abdeckung oder Robustheit bietet, die für RAG-Pipelines, Agentensysteme oder eine groß angelegte Websuche erforderlich sind. Also trainierten wir unser eigenes zweisprachiges semantisches Hervorhebungsmodell - und stellten es als Open Source zur Verfügung.

• Unser semantisches Hervorhebungsmodell: zilliz/semantic-highlight-bilingual-v1

• Sagen Sie uns Ihre Meinung - nehmen Sie an unserem Discord teil, folgen Sie uns auf LinkedIn, oder buchen Sie eine 20-minütige Milvus-Sprechstunde mit uns.

Wie schlagwortbasierte Hervorhebung funktioniert - und warum sie in modernen KI-Systemen scheitert

Herkömmliche Suchsysteme implementieren die Hervorhebung durch einfachen Schlüsselwortabgleich. Wenn Ergebnisse zurückgegeben werden, findet die Maschine die genauen Token-Positionen, die mit der Abfrage übereinstimmen, und wickelt sie in Markup ein (normalerweise <em> Tags), so dass das Frontend die Hervorhebung wiedergeben kann. Dies funktioniert gut, wenn die Suchbegriffe wörtlich im Text vorkommen.

Das Problem ist, dass dieses Modell davon ausgeht, dass die Relevanz an die exakte Überschneidung der Suchbegriffe gebunden ist. Sobald diese Annahme nicht mehr zutrifft, sinkt die Zuverlässigkeit schnell. Jedes Ergebnis, das die richtige Idee mit einem anderen Wortlaut ausdrückt, wird überhaupt nicht hervorgehoben, selbst wenn der Abrufschritt korrekt war.

Diese Schwäche wird in modernen KI-Anwendungen deutlich. In RAG-Pipelines und KI-Agenten-Workflows sind die Abfragen abstrakter, die Dokumente länger und die relevanten Informationen verwenden möglicherweise nicht mehr dieselben Wörter. Das Hervorheben von Schlüsselwörtern kann Entwicklern - oder Endbenutzern - nicht mehr zeigen, wosich die Antwort tatsächlich befindet, wodurch das Gesamtsystem als weniger genau empfunden wird, selbst wenn die Abfrage wie vorgesehen funktioniert.

Angenommen, ein Benutzer fragt: "Wie kann ich die Ausführungseffizienz von Python-Code verbessern?" Das System ruft ein technisches Dokument aus einer Vektordatenbank ab. Herkömmliche Hervorhebungen können nur wörtliche Übereinstimmungen wie "Python", "Code", "Ausführung" und "Effizienz" markieren .

Die nützlichsten Teile des Dokuments könnten jedoch sein:

• Verwendung von NumPy-Vektoroperationen anstelle von expliziten Schleifen

• Vermeiden Sie das wiederholte Erstellen von Objekten innerhalb von Schleifen

Diese Sätze beantworten die Frage direkt, aber sie enthalten keinen der Suchbegriffe. Infolgedessen versagt die traditionelle Hervorhebung vollständig. Das Dokument mag zwar relevant sein, aber der Benutzer muss es trotzdem Zeile für Zeile durchsuchen, um die eigentliche Antwort zu finden.

Das Problem wird bei KI-Agenten noch deutlicher. Die Suchanfrage eines Agenten ist oft nicht die ursprüngliche Frage des Benutzers, sondern eine abgeleitete Anweisung, die durch logisches Denken und Aufgabenzerlegung entsteht. Wenn ein Benutzer beispielsweise fragt: "Können Sie die jüngsten Markttrends analysieren?", könnte der Agent eine Abfrage wie "Abrufen von Verkaufsdaten für Unterhaltungselektronik für das vierte Quartal 2024, Wachstumsraten im Jahresvergleich, Änderungen der Marktanteile der wichtigsten Wettbewerber und Kostenschwankungen in der Lieferkette" erstellen.

Diese Abfrage erstreckt sich über mehrere Dimensionen und kodiert eine komplexe Absicht. Herkömmliche schlagwortbasierte Hervorhebungen können jedoch nur wörtliche Übereinstimmungen wie "2024", "Verkaufsdaten" oder "Wachstumsrate" mechanisch markieren .

In der Zwischenzeit können die wertvollsten Erkenntnisse wie folgt aussehen:

• Die iPhone 15-Serie war der Motor für eine breitere Markterholung

• Engpässe bei der Chipversorgung haben die Kosten um 15 % in die Höhe getrieben

Diese Schlussfolgerungen haben möglicherweise kein einziges Schlüsselwort mit der Abfrage gemeinsam, obwohl sie genau das sind, was der Agent zu extrahieren versucht. Agenten müssen schnell wirklich nützliche Informationen aus großen Mengen abgerufener Inhalte herausfinden - und die stichwortbasierte Hervorhebung bietet keine wirkliche Hilfe.

Was ist semantische Hervorhebung und wo liegen die Schwachstellen bei den heutigen Lösungen?

Die semantische Hervorhebung basiert auf der gleichen Idee wie die semantische Suche: Der Abgleich basiert auf der Bedeutung und nicht auf exakten Wörtern. Bei der semantischen Suche bilden Einbettungsmodelle Text in Vektoren ab, so dass ein Suchsystem - in der Regel unterstützt durch eine Vektordatenbank wie Milvus -Passagen abrufen kann, die dieselbe Idee wie die Suchanfrage vermitteln, auch wenn der Wortlaut unterschiedlich ist. Die semantische Hervorhebung wendet dieses Prinzip auf einer feineren Granularität an. Anstatt wörtliche Schlüsselworttreffer zu markieren, werden die spezifischen Abschnitte innerhalb eines Dokuments hervorgehoben, die für die Absicht des Benutzers semantisch relevant sind.

Dieser Ansatz löst ein Kernproblem der traditionellen Hervorhebung, die nur funktioniert, wenn die Suchbegriffe wörtlich erscheinen. Wenn ein Benutzer nach "iPhone-Leistung" sucht, ignoriert die schlagwortbasierte Hervorhebung Sätze wie "A15 Bionic-Chip", "über eine Million in Benchmarks" oder "reibungslos und ohne Verzögerung", obwohl diese Zeilen die Frage eindeutig beantworten. Die semantische Hervorhebung erfasst diese bedeutungsbezogenen Zusammenhänge und zeigt die Teile des Textes an, die für die Benutzer tatsächlich von Bedeutung sind.

Theoretisch ist dies ein einfaches semantisches Zuordnungsproblem. Moderne Einbettungsmodelle kodieren Ähnlichkeit bereits gut, so dass die konzeptionellen Teile bereits vorhanden sind. Die Herausforderung liegt in der Praxis: Die Hervorhebung erfolgt bei jeder Abfrage, oft über viele abgerufene Dokumente hinweg, was Latenz, Durchsatz und bereichsübergreifende Robustheit zu nicht verhandelbaren Anforderungen macht. Große Sprachmodelle sind einfach zu langsam und zu teuer, um auf diesem hochfrequenten Pfad zu laufen.

Deshalb ist für die praktische semantische Hervorhebung ein leichtgewichtiges, spezialisiertes Modell erforderlich, das klein genug ist, um neben der Suchinfrastruktur eingesetzt zu werden, und schnell genug, um innerhalb weniger Millisekunden Ergebnisse zu liefern. An diesem Punkt scheitern die meisten bestehenden Lösungen. Schwere Modelle liefern Genauigkeit, können aber nicht in großem Umfang eingesetzt werden. Leichtere Modelle sind schnell, verlieren aber an Präzision oder versagen bei mehrsprachigen oder domänenspezifischen Daten.

opensearch-semantic-highlighter

Letztes Jahr hat OpenSearch ein spezielles Modell für die semantische Hervorhebung veröffentlicht: opensearch-semantic-highlighter-v1. Obwohl es ein sinnvoller Versuch ist, das Problem zu lösen, hat es zwei kritische Einschränkungen.

• Kleines Kontextfenster: Das Modell basiert auf einer BERT-Architektur und unterstützt maximal 512 Token - ungefähr 300-400 chinesische Zeichen oder 400-500 englische Wörter. In realen Szenarien umfassen Produktbeschreibungen und technische Dokumente oft Tausende von Wörtern. Inhalte, die über das erste Fenster hinausgehen, werden einfach abgeschnitten, so dass das Modell gezwungen ist, Hervorhebungen nur auf der Grundlage eines kleinen Teils des Dokuments zu identifizieren.

• Schlechte Generalisierung außerhalb der Domäne: Das Modell funktioniert nur bei Datenverteilungen, die dem Trainingssatz ähneln, gut. Bei der Anwendung auf Daten außerhalb der Domäne - z. B. bei der Verwendung eines auf Nachrichtenartikeln trainierten Modells zur Hervorhebung von E-Commerce-Inhalten oder technischer Dokumentation - verschlechtert sich die Leistung drastisch. In unseren Experimenten erreicht das Modell bei domäneninternen Daten eine F1-Punktzahl von etwa 0,72, fällt aber bei domänenfremden Datensätzen auf etwa 0,46. Dieser Grad der Instabilität ist in der Produktion problematisch. Darüber hinaus unterstützt das Modell kein Chinesisch.

Provence / XProvence

Provence ist ein von Naver entwickeltes Modell, das ursprünglich für Context Pruningtrainiert wurde - eineAufgabe, die eng mit der semantischen Hervorhebung verwandt ist.

Beide Aufgaben beruhen auf der gleichen Grundidee: dem semantischen Abgleich, um relevante Inhalte zu identifizieren und irrelevante Teile herauszufiltern. Aus diesem Grund kann Provence mit relativ geringen Anpassungen auch für die semantische Hervorhebung eingesetzt werden.

Provence ist ein rein englischsprachiges Modell und schneidet in dieser Umgebung recht gut ab. XProvence ist seine mehrsprachige Variante, die mehr als ein Dutzend Sprachen unterstützt, darunter Chinesisch, Japanisch und Koreanisch. Auf den ersten Blick scheint XProvence daher ein guter Kandidat für zweisprachige oder mehrsprachige semantische Hervorhebungsszenarien zu sein.

In der Praxis weisen jedoch sowohl Provence als auch XProvence einige bemerkenswerte Einschränkungen auf:

• Schwächere englische Leistung im mehrsprachigen Modell: XProvence erreicht nicht die Leistung von Provence bei englischen Benchmarks. Dies ist ein üblicher Kompromiss bei mehrsprachigen Modellen: Die Kapazität wird auf mehrere Sprachen aufgeteilt, was oft zu einer schwächeren Leistung in Sprachen mit hohen Ressourcen wie Englisch führt. Diese Einschränkung ist in realen Systemen von Bedeutung, in denen Englisch eine primäre oder dominante Arbeitslast bleibt.

• Begrenzte Leistung für Chinesisch: XProvence unterstützt viele Sprachen. Während des mehrsprachigen Trainings werden die Daten und die Modellkapazität auf mehrere Sprachen verteilt, was die Spezialisierung des Modells auf eine einzelne Sprache einschränkt. Infolgedessen ist die Leistung von XProvence in Chinesisch nur bedingt akzeptabel und oft unzureichend für hochpräzise Hervorhebungsanwendungen.

• Diskrepanz zwischen den Zielen von Pruning und Highlighting: Provence ist für das Pruning von Kontexten optimiert, bei dem es in erster Linie darum geht, so viele potenziell nützliche Inhalte wie möglich zu erhalten, um den Verlust kritischer Informationen zu vermeiden. Bei der semantischen Hervorhebung hingegen steht die Präzision im Vordergrund: Es werden nur die relevantesten Sätze hervorgehoben, nicht große Teile des Dokuments. Wenn Provence-Modelle auf Hervorhebungen angewendet werden, führt diese Diskrepanz oft zu übermäßig breiten oder verrauschten Hervorhebungen.

• Restriktive Lizenzierung: Sowohl Provence als auch XProvence werden unter der CC BY-NC 4.0-Lizenz veröffentlicht, die eine kommerzielle Nutzung nicht zulässt. Allein diese Einschränkung macht sie für viele Produktionsanwendungen ungeeignet.

Offene Provence

Open Provence ist ein von der Gemeinschaft getragenes Projekt, das die Provence-Trainings-Pipeline in einer offenen und transparenten Weise neu implementiert. Es bietet nicht nur Trainingsskripte, sondern auch Datenverarbeitungsabläufe, Bewertungswerkzeuge und vortrainierte Modelle in verschiedenen Maßstäben.

Ein entscheidender Vorteil von Open Provence ist seine freizügige MIT-Lizenz. Anders als Provence und XProvence kann es ohne rechtliche Einschränkungen in kommerziellen Umgebungen eingesetzt werden, was es für produktionsorientierte Teams attraktiv macht.

Allerdings unterstützt Open Provence derzeit nur Englisch und Japanisch, was es für unsere zweisprachigen Anwendungsfälle ungeeignet macht.

Wir haben ein zweisprachiges semantisches Hervorhebungsmodell trainiert und als Open-Source bereitgestellt

Ein semantisches Hervorhebungsmodell, das für reale Arbeitslasten entwickelt wurde, muss einige wesentliche Fähigkeiten bieten:

• Starke mehrsprachige Leistung

• Ein Kontextfenster, das groß genug ist, um lange Dokumente zu unterstützen

• Robuste Generalisierung außerhalb der Domäne

• Hohe Präzision bei semantischen Hervorhebungsaufgaben

• Eine freizügige, produktionsfreundliche Lizenz (MIT oder Apache 2.0)

Nach der Evaluierung bestehender Lösungen stellten wir fest, dass keines der verfügbaren Modelle die für den Produktionseinsatz erforderlichen Anforderungen erfüllte. Daher beschlossen wir, unser eigenes semantisches Hervorhebungsmodell zu trainieren: zilliz/semantic-highlight-bilingual-v1.

Um all dies zu erreichen, haben wir einen einfachen Ansatz gewählt: Wir verwenden große Sprachmodelle, um qualitativ hochwertige gelabelte Daten zu generieren, und trainieren darauf ein leichtgewichtiges semantisches Hervorhebungsmodell mit Open-Source-Werkzeugen. Auf diese Weise können wir die Argumentationsstärke von LLMs mit der Effizienz und den geringen Latenzzeiten kombinieren, die in Produktionssystemen erforderlich sind.

Der schwierigste Teil dieses Prozesses ist die Datenerstellung. Während der Annotation fordern wir einen LLM (Qwen3 8B) auf, nicht nur die Highlight-Spans auszugeben, sondern auch die gesamte Argumentation dahinter. Dieses zusätzliche Argumentationssignal führt zu einer genaueren, konsistenten Überwachung und verbessert die Qualität des resultierenden Modells erheblich.

Auf einer hohen Ebene funktioniert die Annotationspipeline wie folgt: LLM-Reasoning → Markierungen → Filterung → endgültiges Trainingsmuster.

Dieser Aufbau bietet in der Praxis drei konkrete Vorteile:

• Höhere Qualität der Beschriftung: Das Modell wird aufgefordert, erst zu denken und dann zu antworten. Dieser Zwischenschritt dient als eingebaute Selbstüberprüfung und verringert die Wahrscheinlichkeit von unzureichenden oder inkonsistenten Beschriftungen.

• Verbesserte Beobachtbarkeit und Fehlersuche: Da jedes Etikett von einer Argumentationsspur begleitet wird, werden Fehler sichtbar. Dies erleichtert die Diagnose von Fehlern und die schnelle Anpassung von Prompts, Regeln oder Datenfiltern in der Pipeline.

• Wiederverwendbare Daten: Reasoning Traces liefern wertvollen Kontext für künftiges Re-Labeling. Wenn sich die Anforderungen ändern, können dieselben Daten erneut geprüft und verfeinert werden, ohne bei Null anfangen zu müssen.

Mithilfe dieser Pipeline haben wir mehr als eine Million zweisprachige Trainingsmuster generiert, die etwa gleichmäßig auf Englisch und Chinesisch verteilt waren.

Für das Training des Modells haben wir mit dem BGE-M3 Reranker v2 (0,6B Parameter, 8.192 Token Kontextfenster) begonnen, das Open Provence Trainingsframework übernommen und drei Epochen lang auf 8× A100 GPUs trainiert, wodurch das Training in etwa fünf Stunden abgeschlossen war.

Wir werden diese technischen Entscheidungen - einschließlich der Frage, warum wir uns auf Argumentationsspuren verlassen, wie wir das Basismodell ausgewählt haben und wie der Datensatz erstellt wurde - in einem Folgebeitrag näher erläutern.

Benchmarking des zweisprachigen semantischen Hervorhebungsmodells von Zilliz

Um die Leistung in der Praxis zu bewerten, haben wir mehrere semantische Hervorhebungsmodelle in einer Reihe von Datensätzen evaluiert. Die Benchmarks umfassen sowohl domäneninterne als auch domänenexterne Szenarien in Englisch und Chinesisch, um die Vielfalt der in Produktionssystemen anzutreffenden Inhalte widerzuspiegeln.

Datensätze

Wir haben die folgenden Datensätze in unserer Bewertung verwendet:

• MultiSpanQA (Englisch) - ein In-Domain-Datensatz für die Beantwortung von Fragen mit mehreren Bereichen

• WikiText-2 (Englisch) - ein out-of-domain Wikipedia-Korpus

• MultiSpanQA-ZH (Chinesisch) - ein chinesischer Datensatz zur Beantwortung von Mehrspartenfragen

• WikiText-2-ZH (Chinesisch) - ein chinesischer Wikipedia-Korpus außerhalb der Domäne

Verglichene Modelle

Die in den Vergleich einbezogenen Modelle sind:

• Offene Provence-Modelle

• Provence / XProvence (herausgegeben von Naver)

• OpenSearch Semantic Highlighter

• Das zweisprachige semantische Hervorhebungsmodell von Zilliz

Ergebnisse und Analyse

Englische Datensätze:

Chinesische Datensätze:

Bei den zweisprachigen Benchmarks erreicht unser Modell die besten durchschnittlichen F1-Ergebnisse und übertrifft damit alle zuvor evaluierten Modelle und Ansätze. Besonders ausgeprägt sind die Gewinne bei den chinesischen Datensätzen, wo unser Modell XProvence - das einzige andere evaluierte Modell mit chinesischer Unterstützung - deutlich übertrifft.

Noch wichtiger ist jedoch, dass unser Modell eine ausgewogene Leistung sowohl auf Englisch als auch auf Chinesisch liefert, eine Eigenschaft, die mit bestehenden Lösungen nur schwer zu erreichen ist:

• Open Provence unterstützt nur Englisch

• XProvence opfert die englische Leistung im Vergleich zu Provence

• OpenSearch Semantic Highlighter bietet keine Unterstützung für Chinesisch und zeigt eine schwache Generalisierung

Infolgedessen vermeidet unser Modell die üblichen Kompromisse zwischen Sprachabdeckung und Leistung, wodurch es sich besser für reale zweisprachige Einsätze eignet.

Ein konkretes Beispiel aus der Praxis

Jenseits von Benchmark-Ergebnissen ist es oft aufschlussreicher, ein konkretes Beispiel zu untersuchen. Das folgende Beispiel zeigt, wie sich unser Modell in einem realen Szenario zur semantischen Hervorhebung verhält und warum Präzision wichtig ist.

Abfrage: Wer schrieb den Film The Killing of a Sacred Deer?

Kontext (5 Sätze):

1. The Killing of a Sacred Deer ist ein Psychothriller aus dem Jahr 2017, bei dem Yorgos Lanthimos Regie führte und das Drehbuch von Lanthimos und Efthymis Filippou geschrieben wurde.

2. In dem Film spielen Colin Farrell, Nicole Kidman, Barry Keoghan, Raffey Cassidy, Sunny Suljic, Alicia Silverstone und Bill Camp mit.

3. Die Geschichte basiert auf dem antiken griechischen Theaterstück Iphigenie in Aulis von Euripides.

4. Der Film handelt von einem Herzchirurgen, der eine geheime Freundschaft mit einem Teenager schließt, der mit seiner Vergangenheit verbunden ist.

5. Er macht den Jungen mit seiner Familie bekannt, woraufhin mysteriöse Krankheiten auftreten.

Richtiges Highlight: Satz 1 ist die richtige Antwort, da er ausdrücklich besagt, dass das Drehbuch von Yorgos Lanthimos und Efthymis Filippou geschrieben wurde.

Dieses Beispiel enthält eine raffinierte Falle. In Satz 3 wird Euripides erwähnt, der Autor des griechischen Originalstücks, auf dem die Geschichte lose basiert. In der Frage wird jedoch gefragt, wer den Film geschrieben hat, nicht die antike Vorlage. Die richtige Antwort lautet daher: die Drehbuchautoren des Films, nicht der Dramatiker von vor Tausenden von Jahren.

Die Ergebnisse:

Die folgende Tabelle fasst zusammen, wie die verschiedenen Modelle bei diesem Beispiel abgeschnitten haben.

Modell	Ermittelte korrekte Antwort	Ergebnis
Unseres (zweisprachig M3)	✓	Ausgewählter Satz 1 (richtig) und Satz 3
XProvence v1	✗	Hat nur Satz 3 ausgewählt, hat die richtige Antwort verpasst
XProvence v2	✗	Nur Satz 3 ausgewählt, die richtige Antwort nicht gefunden

Vergleich der Ergebnisse auf Satzebene

Satz	Unserer (zweisprachig M3)	XProvence v1	XProvence v2
Satz 1 (Filmdrehbuch, richtig)	0.915	0.133	0.081
Satz 3 (Original-Theaterstück, Distraktor)	0.719	0.947	0.802

Wo XProvence versagt

• XProvence fühlt sich stark von den Schlüsselwörtern "Euripides" und "schrieb" angezogen und vergibt für Satz 3 eine fast perfekte Punktzahl (0,947 und 0,802).

• Gleichzeitig ignoriert es weitgehend die richtige Antwort in Satz 1 und vergibt extrem niedrige Punktzahlen (0,133 und 0,081).

• Auch nach der Senkung der Entscheidungsschwelle von 0,5 auf 0,2 gelingt es dem Modell nicht, die richtige Antwort zu finden.

Mit anderen Worten: Das Modell wird in erster Linie von oberflächlichen Schlüsselwortassoziationen gesteuert und nicht von der eigentlichen Absicht der Frage.

Wie sich unser Modell anders verhält

• Unser Modell vergibt eine hohe Punktzahl (0,915) für die richtige Antwort in Satz 1, da es die Drehbuchautoren des Films korrekt identifiziert.

• Es vergibt auch eine mäßige Punktzahl (0,719) für Satz 3, da in diesem Satz ein Konzept im Zusammenhang mit dem Drehbuch erwähnt wird.

• Entscheidend ist, dass die Trennung deutlich und sinnvoll ist: 0,915 vs. 0,719, ein Unterschied von fast 0,2.

Dieses Beispiel verdeutlicht die zentrale Stärke unseres Ansatzes: Wir gehen über schlagwortbasierte Assoziationen hinaus und interpretieren die Absicht des Nutzers korrekt. Selbst wenn mehrere "Autor"-Konzepte auftauchen, hebt das Modell konsequent dasjenige hervor, auf das sich die Frage tatsächlich bezieht.

Einen detaillierteren Evaluierungsbericht und weitere Fallstudien werden wir in einem Folgebeitrag veröffentlichen.

Probieren Sie es aus und sagen Sie uns, was Sie denken

Wir haben unser zweisprachiges semantisches Hervorhebungsmodell auf Hugging Face als Open Source zur Verfügung gestellt, wobei alle Modellgewichte öffentlich zugänglich sind, so dass Sie sofort mit dem Experimentieren beginnen können. Wir würden uns freuen zu hören, wie es bei Ihnen funktioniert - bitte teilen Sie uns Ihr Feedback, Probleme oder Verbesserungsvorschläge mit, wenn Sie es ausprobieren.

Parallel dazu arbeiten wir an einem produktionsreifen Inferenzdienst und integrieren das Modell direkt in Milvus als native Semantic Highlighting API. Diese Integration ist bereits im Gange und wird bald verfügbar sein.

Die semantische Hervorhebung öffnet die Tür zu einer intuitiveren RAG- und KI-Erfahrung. Wenn Milvus mehrere lange Dokumente abruft, kann das System sofort die relevantesten Sätze anzeigen und so deutlich machen, wo die Antwort zu finden ist. Dies verbessert nicht nur die Erfahrung des Endbenutzers, sondern hilft auch den Entwicklern bei der Fehlersuche in Abfrage-Pipelines, da genau angezeigt wird, auf welche Teile des Kontexts sich das System stützt.

Wir sind davon überzeugt, dass die semantische Hervorhebung in den Such- und RAG-Systemen der nächsten Generation zur Standardfunktion wird. Wenn Sie Ideen, Vorschläge oder Anwendungsfälle für zweisprachige semantische Hervorhebungen haben, treten Sie unserem Discord-Kanal bei und teilen Sie Ihre Gedanken mit. Sie können auch ein 20-minütiges persönliches Gespräch buchen, um Einblicke, Anleitung und Antworten auf Ihre Fragen über die Milvus-Sprechstunde zu erhalten.