InstantanésCompatible with Milvus 3.0.x
Un instantané est une image ponctuelle d'une collection Milvus, idéale pour les retours en arrière rapides, les versions et les tests. Il capture l'état de la collection à un moment précis et ne stocke que les métadonnées et les fichiers manifestes, tels que le schéma, les index et les fichiers de données vectorielles (binlogs), pour un stockage et une restauration efficaces.
Les instantanés sont des images rapides et ponctuelles des données, qui conviennent à des retours en arrière rapides ou à des tests(de quelques jours à quelques semaines). Parallèlement, les sauvegardes sont des copies indépendantes et complètes stockées séparément pour la reprise après sinistre à long terme(de quelques semaines à quelques années) et pour une meilleure protection contre les pannes totales de stockage.
Pour créer des sauvegardes, voir Milvus Backup.
Anatomie des instantanés
Milvus met en œuvre une architecture d'instantanés basée sur des manifestes pour capturer, stocker et restaurer efficacement des données à un moment donné sans dupliquer les données vectorielles réelles. L'architecture sépare la gestion des métadonnées du stockage physique des données, ce qui permet de réaliser des instantanés légers qui font référence à des fichiers de segments existants dans le stockage d'objets.
Lorsque vous créez un instantané pour une collection, Milvus collecte les éléments suivants :
Métadonnées de l'instantané
Elles fournissent des informations de base pour la création de l'instantané, notamment le nom et la description de l'instantané, l'ID de la collection cible et le moment de la création de l'instantané.
Description de la collection
Elle contient la description de la collection cible, y compris sa définition de schéma, ses informations de partition et ses propriétés.
Informations sur l'index
Elles stockent les métadonnées de l'index et les chemins d'accès aux fichiers d'index.
Données de segment
Elles capturent les fichiers de données vectorielles (binlogs), les journaux de suppression (deltalogs) et les fichiers d'index.
Parmi les informations ci-dessus, Milvus génère un fichier manifeste Apache Avro pour chaque segment et stocke les métadonnées d'instantané, la description de la collection, les informations d'index et les chemins d'accès aux fichiers manifestes dans un fichier JSON. Le diagramme suivant illustre la structure du dossier de l'instantané.
snapshots/{collection_id}/
├── metadata/
│ └── {snapshot_id}.json # Snapshot metadata (JSON format)
│
└── manifests/
└── {snapshot_id}/ # Directory for each snapshot
├── {segment_id_1}.avro # Individual segment manifest (Avro format)
├── {segment_id_2}.avro
└── ...
La création d'un instantané prend généralement quelques millisecondes, et sa restauration quelques secondes à quelques minutes, en fonction du volume de données.
Impacts et considérations en matière de stockage
Une fois que Milvus fait référence à un segment ou à un fichier d'index dans un instantané, il ne met pas ces fichiers au rebut, sauf si vous abandonnez l'instantané. Les instantanés consomment de l'espace de stockage proportionnellement à la taille des collections cibles et les coûts de stockage des objets s'appliquent à la conservation des instantanés. Dans des cas extrêmes, un seul instantané peut même doubler vos coûts de stockage d'objets. Il est conseillé de
- Supprimer régulièrement les anciens clichés pour économiser de l'espace de stockage.
- d'utiliser des noms et des descriptions descriptifs pour toute référence ultérieure
- Toujours vérifier les résultats de la création et de la restauration des instantanés.
- Suivre les horodatages de création des instantanés, l'utilisation du stockage et les identifiants des tâches de restauration à des fins de surveillance et de dépannage.
Limites et restrictions
- Les instantanés deviennent immuables après leur création.
- Vous pouvez restaurer un instantané uniquement dans une nouvelle collection au sein du même cluster que l'original.
- Les collections restaurées conservent le même schéma, le même nombre de shards et le même nombre de partitions.
- Les données historiques restaurées peuvent entrer en conflit avec les politiques de TTL. Il est conseillé de désactiver le TTL ou d'ajuster les paramètres du TTL avant de créer des instantanés.
Pour en savoir plus
- Gérer les instantanés - créer, lister, restaurer et supprimer des instantanés.
- Cas d'utilisation des instantanés - modèles et flux de travail courants.
- Sauvegarde Milvus - sauvegarde et restauration à long terme entre clusters.