SchnappschüsseCompatible with Milvus 3.0.x
Ein Snapshot ist ein zeitpunktbezogenes Abbild einer Milvus-Sammlung, das sich ideal für schnelle Rollbacks, Versionierung und Tests eignet. Er erfasst den Zustand der Sammlung zu einem bestimmten Zeitpunkt und speichert nur Metadaten und Manifestdateien, wie das Schema, Indizes und Vektordatendateien (binlogs), um eine effiziente Speicherung und Wiederherstellung zu ermöglichen.
Snapshots sind schnelle, zeitpunktgenaue Abbilder von Daten, die sich für schnelle Rollbacks oder Tests(Tage bis Wochen) eignen. Gleichzeitig sind Backups unabhängige, vollständige Kopien, die separat gespeichert werden, um eine langfristige Wiederherstellung im Katastrophenfall(Wochen bis Jahre) und einen besseren Schutz vor einem totalen Speicherausfall zu gewährleisten.
Wie Sie Backups erstellen, erfahren Sie unter Milvus Backup.
Snapshot-Anatomie
Milvus implementiert eine manifestbasierte Snapshot-Architektur für die effiziente punktuelle Erfassung, Speicherung und Wiederherstellung von Daten ohne Duplizierung der eigentlichen Vektordaten. Die Architektur trennt die Verwaltung von Metadaten von der physischen Datenspeicherung und ermöglicht leichtgewichtige Snapshots, die auf vorhandene Segmentdateien im Objektspeicher verweisen.
Wenn Sie einen Snapshot für eine Sammlung erstellen, sammelt Milvus die folgenden Daten:
Snapshot-Metadaten
Sie liefern grundlegende Informationen für die Erstellung des Snapshots, einschließlich des Snapshot-Namens und der Snapshot-Beschreibung, der Zielsammlungs-ID und des Zeitpunkts, zu dem der Snapshot erstellt wird.
Beschreibung der Sammlung
Sie enthält die Beschreibung der Zielsammlung, einschließlich ihrer Schemadefinition, Partitionsinformationen und Eigenschaften.
Index-Informationen
Hier werden die Index-Metadaten und die Pfade zu den Indexdateien gespeichert.
Segmentdaten
Erfasst die Vektordatendateien (binlogs), Löschungsprotokolle (deltalogs) und Indexdateien.
Neben den oben genannten Informationen generiert Milvus eine Apache Avro-Manifestdatei für jedes Segment und speichert die Snapshot-Metadaten, die Sammlungsbeschreibung, die Indexinformationen und die Pfade zu den Manifestdateien in einer JSON-Datei. Das folgende Diagramm veranschaulicht die Snapshot-Ordnerstruktur.
snapshots/{collection_id}/
├── metadata/
│ └── {snapshot_id}.json # Snapshot metadata (JSON format)
│
└── manifests/
└── {snapshot_id}/ # Directory for each snapshot
├── {segment_id_1}.avro # Individual segment manifest (Avro format)
├── {segment_id_2}.avro
└── ...
Die Erstellung eines Snapshots dauert in der Regel nur wenige Millisekunden, und die Wiederherstellung dauert je nach Datenvolumen Sekunden bis Minuten.
Auswirkungen auf die Speicherung und Überlegungen
Sobald Milvus auf ein Segment oder eine Indexdatei in einem Snapshot verweist, sammelt es diese Dateien nicht mehr ein, es sei denn, Sie löschen den Snapshot. Snapshots verbrauchen Speicherplatz proportional zur Größe der Zielsammlungen, und die Objektspeicherkosten gelten für die Aufbewahrung von Snapshots. In extremen Fällen kann ein einziger Snapshot Ihre Objektspeicherkosten sogar verdoppeln. Es wird empfohlen, dass Sie
- Entfernen Sie alte Snapshots regelmäßig, um Speicherplatz zu sparen.
- Verwenden Sie aussagekräftige Namen und Beschreibungen für zukünftige Referenzen.
- Überprüfen Sie stets die Ergebnisse der Snapshot-Erstellung und -Wiederherstellung.
- Verfolgen Sie die Zeitstempel der Snapshot-Erstellung, die Speichernutzung und die IDs der Wiederherstellungsaufträge zur Überwachung und Fehlerbehebung.
Limits und Einschränkungen
- Snapshots werden nach der Erstellung unveränderbar.
- Sie können einen Snapshot nur in einer neuen Sammlung innerhalb desselben Clusters wie das Original wiederherstellen.
- Wiederhergestellte Sammlungen behalten dasselbe Schema, dieselbe Anzahl von Shards und dieselbe Partitionsanzahl bei.
- Wiederhergestellte historische Daten können mit TTL-Richtlinien in Konflikt geraten. Wir empfehlen Ihnen, TTL zu deaktivieren oder die TTL-Einstellungen anzupassen, bevor Sie Snapshots erstellen.
Weitere Lektüre
- Verwalten von Snapshots - Snapshots erstellen, auflisten, wiederherstellen und löschen.
- Snapshot Use Cases - allgemeine Muster und Arbeitsabläufe.
- Milvus Backup - Langfristige Sicherung und Wiederherstellung in Clustern.