Utiliser la traçabilité des données pour optimiser les coûts

La traçabilité des données dans Knowledge Catalog vous permet de suivre les dépendances en aval des tables et des vues de votre projet BigQuery. Vous pouvez ensuite identifier les éléments qui ne sont pas activement utilisés comme sources pour les jobs ou workflows en aval, et les marquer comme candidats à la suppression afin de réduire les coûts de stockage.

Dans ce tutoriel, vous allez gérer un projet BigQuery avec des ensembles de données issus du recensement trimestriel de l'emploi et des salaires (QCEW, Quarterly Census of Employment and Wages). Le projet contient de nombreuses tables et vues pour les tableaux de bord et les analyses, telles que le suivi des tendances de l'emploi ou les comparaisons de salaires, ce qui augmente vos coûts de stockage. En vérifiant chaque élément pour détecter les liens en aval, vous pouvez systématiquement signaler les ressources inutilisées à supprimer.

Attention : Soyez prudent lorsque vous supprimez des ressources. Le fait qu'une ressource ne dispose pas de workflows en aval ne signifie pas qu'elle est totalement inutilisée. Par exemple, les utilisateurs peuvent toujours interroger directement une table pour récupérer des données spécifiques en mode lecture seule. La suppression de la ressource pourrait perturber le travail de toute personne qui dépend de cet accès direct.

Configurer l'explorateur de traçabilité

Pour réaliser le cas d'utilisation, commencez par configurer l'environnement et exécuter les transformations de données en connectant un dépôt distant à Dataform. Ce dépôt contient le code nécessaire pour configurer l'ensemble de données et transformer les données. Pour en savoir plus, consultez Prérequis et configuration.

Une fois la configuration de l'environnement terminée, utilisez BigQuery et l'explorateur de traçabilité pour identifier visuellement les éléments sans dépendances en aval.

Identifier les éléments inutilisés et optimiser les coûts

Une fois l'ensemble de données préparé, identifiez les éléments qui ne présentent pas de dépendances en aval. Bien que vous puissiez le faire visuellement pour des tables individuelles, vous pouvez également utiliser une approche programmatique pour les ensembles de données plus volumineux.

Dans cet exemple, comparez les éléments actifs aux éléments autonomes pour déterminer ceux qui peuvent être supprimés en toute sécurité :

1. Dans la console Google Cloud , accédez à la page BigQuery.
2. Utilisez le champ de recherche pour trouver une table autonome (par exemple, une ancienne table d'analyse d'une année spécifique).
3. Cliquez sur l'onglet Traçabilité.
4. Dans le volet Explorateur de traçabilité, procédez comme suit :
   1. Dans la section Direction, sélectionnez la direction En aval.
   2. Cliquez sur Appliquer.

Observez le graphique. S'il n'y a pas de nœuds en aval, l'élément n'est pas utilisé comme source pour d'autres jobs BigQuery suivis. Pour en savoir plus sur la visualisation des données avec le graphique de traçabilité des données, consultez Vue Graphique de traçabilité.