Managed Airflow (3e génération) | Managed Airflow (2e génération) | Managed Airflow (1re génération héritée)
Cette page explique comment assurer la maintenance de la base de données Airflow dans votre environnement.
Nettoyage automatique de la base de données avec une règle de conservation des données
Vous pouvez configurer le nettoyage automatique de la base de données pour votre environnement Managed Airflow (3e génération) en définissant une règle de conservation des données. Une fois cette règle configurée, les enregistrements datant de plus d'une certaine période sont automatiquement supprimés de la base de données Airflow chaque jour. Pour en savoir plus, consultez Configurer une règle de conservation des données.
Procédures de nettoyage obsolètes
Avant que la règle de conservation des données ne soit disponible dans Managed Airflow, nous recommandions une approche différente pour automatiser le nettoyage de la base de données, via un DAG de nettoyage de la base de données. Cette approche est obsolète dans Managed Airflow (3e génération). Ce DAG effectue un travail redondant. Vous pouvez réduire la consommation de ressources en le supprimant et en le remplaçant par une règle de conservation des données.
Limites de taille de la base de données
Au fil du temps, la base de données Airflow de votre environnement stocke de plus en plus de données. Ces données incluent des informations et des journaux liés aux exécutions DAG, aux tâches et aux autres opérations Airflow passées.
Si la taille de la base de données Airflow est supérieure à 20 Go, vous ne pouvez pas mettre à niveau votre environnement vers une version ultérieure.
Si la taille de la base de données Airflow est supérieure à 20 Go, il n'est pas possible de créer des instantanés.
Maintenir les performances de la base de données
Les problèmes de performances de la base de données Airflow peuvent entraîner des problèmes d'exécution globale du DAG. Observez les statistiques d'utilisation du processeur et de la mémoire de la base de données. Si l'utilisation du processeur et de la mémoire approche les limites, la base de données est surchargée et nécessite un scaling. La quantité de ressources disponibles pour la base de données Airflow est contrôlée par la propriété de taille d'environnement de votre environnement. Pour effectuer un scaling de la base de données à la hausse modifiez la taille de l'environnement pour choisir un niveau supérieur. L'augmentation de la taille de l'environnement augmente les coûts de votre environnement.
Si vous utilisez le mécanisme XCom pour transférer des fichiers, assurez-vous de l' utiliser conformément aux consignes d'Airflow. Le transfert de fichiers volumineux ou d'un grand nombre de fichiers à l'aide de XCom a un impact sur les performances de la base de données Airflow et peut entraîner des échecs lors du chargement d'instantanés ou de la mise à niveau de votre environnement. Envisagez d'utiliser des alternatives telles que Cloud Storage pour transférer de grands volumes de données.
Supprimer les entrées des DAG inutilisés
Vous pouvez supprimer les entrées de base de données des DAG inutilisés en supprimant les DAG de l'interface utilisateur Airflow.
Étape suivante