Présentation du stockage à plusieurs niveaux

Cette page décrit et explique le fonctionnement du stockage par niveaux dans Spanner. Cette fonctionnalité est compatible avec les bases de données utilisant le dialecte GoogleSQL et celles utilisant le dialecte PostgreSQL.

Le stockage par niveaux Spanner est une fonctionnalité de stockage entièrement gérée qui vous permet de choisir de stocker vos données sur des disques durs SSD ou HDD. Par défaut, lorsque vous n'utilisez pas le stockage hiérarchisé, vos données sont stockées sur un espace de stockage SSD. Selon la fréquence à laquelle vous utilisez ou accédez aux données, vous pouvez envisager d'utiliser un stockage à plusieurs niveaux et de stocker les données sur des disques SSD et HDD.

  • Le stockage SSD est le choix le plus performant (nombre de requêtes par seconde plus élevé) et le plus rentable dans la plupart des cas. Vous devez l'utiliser pour stocker des données actives avec un débit d'écriture et de lecture élevé, ainsi que des données nécessitant un accès à faible latence.
  • Le stockage HDD est parfois approprié pour les grands ensembles de données non sensibles à la latence ou rarement utilisés, ou si le coût du stockage est un facteur important.

Le stockage hiérarchisé vous permet de profiter à la fois du stockage SSD, qui offre des performances élevées pour les données actives, et du stockage HDD, qui permet d'accéder à des données peu fréquentes à un coût inférieur.

Choisir entre le stockage SSD et HDD

Le tableau suivant présente les différences et les similitudes entre les stockages SSD et HDD. Les chiffres de débit indiqués dans le tableau sont par nœud et évoluent de manière linéaire en fonction du nombre de nœuds de votre instance Spanner. En cas de doute, nous vous recommandons de choisir le stockage SSD.

Stockage SSD Stockage HDD
Cas d'utilisation cibles Données nécessitant un débit d'écriture et de lecture élevé, et un accès aux données à faible latence Ensembles de données volumineux qui ne sont pas sensibles à la latence ou qui sont rarement consultés
Débit attendu par nœud
Configurations régionales
Jusqu'à 22 500 RPS en lecture
Jusqu'à 3 500 RPS en écriture
Jusqu'à 1 500 RPS en lecture
Jusqu'à 3 500 RPS en écriture
Débit attendu par nœud
Configurations birégionales et multirégionales
Jusqu'à 15 000 RPS en lecture par région
Jusqu'à 2 700 RPS en écriture
Jusqu'à 1 000 RPS en lecture par région
Jusqu'à 2 700 RPS en écriture
Opérations compatibles Lire, écrire, mettre à jour et supprimer Lire, écrire, mettre à jour et supprimer

Utilisez les écritures optimisées pour le débit afin d'augmenter le débit d'écriture au-delà des chiffres du tableau. Pour en savoir plus, consultez la présentation des performances.

Avantages

Le stockage par niveaux offre les avantages suivants en vous permettant d'utiliser à la fois le stockage SSD et HDD :

  • Réduction significative du coût total de possession : le stockage HDD offre une option moins coûteuse pour les grands ensembles de données qui ne sont pas sensibles à la latence ou qui sont rarement consultés.
  • Facilité de gestion : fournit un service de hiérarchisation entièrement géré sans la complexité des pipelines supplémentaires et de la logique de division.
  • Expérience unifiée et cohérente : fournit un accès unifié aux données et un ensemble unique de métriques pour les données chaudes et froides (modifiables).
  • Performances améliorées : améliore les performances des requêtes en organisant vos données dans différents groupes de localité, ce qui assure la localité des données et l'isolation entre les colonnes. Les données d'un même groupe de localité sont stockées à proximité les unes des autres.

Fonctionnement du stockage par niveaux

Par défaut, lorsque vous créez une instance, les données ne sont stockées que sur un espace de stockage SSD. De même, les données des instances existantes ne sont stockées que sur un espace de stockage SSD.

Si vous choisissez d'utiliser le stockage hiérarchisé pour stocker certaines données sur un disque dur, vous devez créer un groupe de localité, qui permet de définir la règle de stockage hiérarchisé pour les données de votre schéma. Lorsque vous créez un groupe de localités, vous pouvez définir le type de stockage, soit ssd, soit hdd. Vous pouvez également définir la durée pendant laquelle les données sont stockées sur un espace de stockage SSD avant d'être déplacées vers un espace de stockage HDD. Cette heure est relative au code temporel de commit des données. Une fois le délai spécifié écoulé, Spanner migre les données vers le stockage HDD au cours de son cycle de compactage normal, qui se déroule généralement sur une période de sept jours à compter de l'heure spécifiée. Pour migrer des données entre un SSD et un HDD plus rapidement que le cycle de compactage normal, vous pouvez déclencher manuellement un compactage majeur. C'est ce qu'on appelle une règle de stockage par niveaux basée sur l'âge. Lorsque vous utilisez une règle de stockage par niveaux basée sur l'âge, la durée minimale pendant laquelle les données doivent être stockées sur un disque SSD avant d'être déplacées vers un stockage HDD est d'une heure.

Une fois vos groupes de localité définis, lorsque vous créez vos tables, vous pouvez définir la règle de stockage par niveaux au niveau de la base de données, de la table, de la colonne ou de l'index secondaire. La règle de stockage par niveaux détermine comment et où les données sont stockées. Pour obtenir des instructions, consultez Créer et gérer des groupes de localités.

Détails du comportement de la clé

Les comportements suivants s'appliquent lorsque vous utilisez le stockage par niveaux :

  • Les niveaux de stockage sont appliqués au niveau de la cellule : les règles de stockage par niveaux basées sur l'âge s'appliquent aux cellules individuelles d'une ligne, en fonction du code temporel de commit de la cellule. Les données sont déplacées vers un espace de stockage HDD si leur code temporel de commit est antérieur à la durée spécifiée. Une même ligne peut donc contenir des données sur SSD et d'autres sur HDD, selon la date de la dernière mise à jour de chaque cellule.
  • Les tables entrelacées sont indépendantes : les paramètres de groupe de localité et les règles de stockage hiérarchisé ne sont pas hérités par les tables enfants entrelacées. Vous devez appliquer ces paramètres à chaque table individuellement.
  • Les opérations de lecture n'affectent pas le vieillissement des données : la lecture des données d'une table ne réinitialise pas leur âge et n'empêche pas leur déplacement vers un disque dur. Seule une opération d'écriture qui met à jour les données réinitialise son code temporel de commit et les conserve dans le stockage SSD.
  • Déplacement des données du HDD vers le SSD : lorsque vous mettez à jour des données stockées sur un HDD, Spanner écrit la nouvelle version des données directement sur le stockage SSD. La version précédente des données sur le disque dur est marquée comme obsolète et est nettoyée ultérieurement par un processus de compactage en arrière-plan. Vous pouvez déclencher manuellement un compactage majeur pour le nettoyer plus rapidement. Cela garantit que les mises à jour des données froides bénéficient immédiatement des performances du SSD pour les lectures ultérieures des nouvelles données.

Sauvegarde et restauration

Vous pouvez sauvegarder et restaurer vos données à l'aide des sauvegardes Spanner. La sauvegarde contient toutes les informations de schéma de stockage, y compris INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS, qui spécifie le type de stockage de chaque groupe de localités. Pour restaurer une sauvegarde contenant des groupes de localité sur une nouvelle instance, l'instance de destination doit être dans l'édition Spanner Enterprise ou Spanner Enterprise Plus.

Data Boost

Vous pouvez utiliser Spanner Data Boost pour accéder aux données sur un stockage SSD ou HDD. L'interrogation des données sur un espace de stockage HDD utilise une capacité de charge de disque HDD distincte de votre instance, de la même manière qu'elle utilise un calcul distinct.

Index de recherche

La recherche en texte intégral et les index vectoriels héritent du groupe de localité défini sur l'objet de base de données.

Observabilité

Les fonctionnalités d'observabilité suivantes sont disponibles pour le stockage hiérarchisé.

Métriques Cloud Monitoring

Spanner fournit les métriques suivantes pour vous aider à surveiller l'utilisation de l'espace de stockage hiérarchisé et de vos données à l'aide de Cloud Monitoring :

  • spanner.googleapis.com/instance/storage/used_bytes (Espace de stockage total) : affiche le nombre total d'octets de données stockés sur les disques SSD et HDD.
  • spanner.googleapis.com/instance/storage/combined/limit_bytes : affiche la limite de stockage SSD et HDD combinée.
  • spanner.googleapis.com/instance/storage/combined/limit_bytes_per_processing_unit : affiche la limite de stockage SSD et HDD combinée pour chaque unité de traitement.
  • spanner.googleapis.com/instance/storage/combined/utilization : affiche l'utilisation combinée du stockage SSD et HDD, par rapport à la limite de stockage combinée.
  • spanner.googleapis.com/instance/disk_load : affiche l'utilisation du disque dur en pourcentage. Si votre instance atteint une charge de disque HDD de 100 %, vous constaterez une augmentation significative de la latence.

Si vous avez des requêtes existantes qui filtrent les métriques existantes par storage_class:ssd, vous devez supprimer le filtre pour voir votre utilisation des disques durs.

Pour en savoir plus sur la surveillance de vos ressources Spanner, consultez Surveiller des instances avec les insights système et Surveiller des instances avec Cloud Monitoring.

Schéma d'informations

INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS contient la liste des groupes de localités et des options de votre base de données Spanner. Il inclut des informations sur le groupe de localités default. La colonne IS_INHERITED indique si le type de stockage d'un groupe de localités est explicitement défini ou hérité. Pour en savoir plus, consultez locality_group_options pour les bases de données en dialecte GoogleSQL et locality_group_options pour les bases de données en dialecte PostgreSQL.

Pour voir quel groupe de localités stocke chaque table, index et colonne, interrogez les tables TABLE_OPTIONS, INDEX_OPTIONS et COLUMN_OPTIONS. Les tables et les index qui n'ont pas de ligne locality_group dans TABLE_OPTIONS ou INDEX_OPTIONS utilisent le groupe de localité default. Dans COLUMN_OPTIONS, la colonne IS_INHERITED indique si le groupe de localité est explicitement défini sur la colonne ou hérité de la table. Pour en savoir plus, consultez les ressources suivantes :

Tableaux de statistiques intégrés

Les tables de statistiques intégrées suivantes sont disponibles pour les bases de données utilisant le stockage par niveaux :

  • SPANNER_SYS.TABLE_SIZES_STATS_1HOUR : affiche l'utilisation de l'espace de stockage HDD et SSD pour chaque table de votre base de données.
  • SPANNER_SYS.TABLE_SIZES_STATS_PER_LOCALITY_GROUP_1HOUR : affiche l'utilisation de l'espace de stockage HDD et SSD pour chaque groupe de localités de votre base de données.

Pour en savoir plus, consultez Statistiques sur la taille des tables.

Les tables de statistiques de requête et de statistiques de lecture comportent la colonne suivante, qui est liée au stockage hiérarchisé :

  • AVG_DISK_IO_COST : coût moyen de cette requête en termes de charge du disque HDD Spanner. Utilisez cette valeur pour comparer les coûts d'E/S relatifs du disque dur entre les lectures que vous exécutez dans la base de données. Une valeur plus élevée indique que vous utilisez une charge de disque dur plus importante et que votre requête peut être plus lente que si elle s'exécutait sur un disque SSD. De plus, si la charge de votre disque dur est à pleine capacité, les performances de vos requêtes peuvent être encore plus affectées.

Pour en savoir plus, consultez Statistiques des requêtes et Statistiques de lecture.

Tarifs

L'utilisation du stockage par niveaux n'entraîne aucuns frais supplémentaires. La tarification standard de Spanner vous est facturée pour la capacité de calcul utilisée par votre instance et l'espace de stockage utilisé par votre base de données. Les données stockées sur SSD et HDD sont facturées à leurs tarifs de stockage respectifs. Le déplacement de données entre un stockage SSD et un stockage HDD n'est pas facturé. L'interrogation des données sur un disque HDD utilise la capacité de charge du disque HDD de l'instance, qui fait partie de votre tarification de la capacité de calcul. Pour en savoir plus, consultez la page Tarifs de Spanner.

Étapes suivantes