Airflow géré (3e génération) | Airflow géré (2e génération) | Airflow géré (ancienne 1re génération)
Pour gérer une application stratégique sur Managed Airflow, différentes responsabilités doivent être assumées par plusieurs groupes. Bien que cette liste ne soit pas exhaustive, elle décrit les responsabilités de Google et du Client.
Responsabilités de Google
Renforcement et application de correctifs aux composants et à l'infrastructure sous-jacente de l'environnement Managed Airflow, y compris le cluster Google Kubernetes Engine, la base de données Cloud SQL (qui héberge la base de données Airflow), Pub/Sub, Artifact Registry et d'autres éléments de l'environnement. Cela inclut notamment la mise à niveau automatique de l'infrastructure sous-jacente, y compris le cluster GKE et l'instance Cloud SQL d'un environnement.
Protéger l'accès aux environnements Managed Airflow en intégrant le contrôle des accès fourni par IAM, en chiffrant les données au repos par défaut, en fournissant un chiffrement supplémentaire du stockage géré par le client et en chiffrant les données en transit.
Fournir des intégrations Google Cloud pour Identity and Access Management, Cloud Audit Logs et Cloud Key Management Service.
Limiter et consigner l'accès administrateur Google aux clusters de client à des fins d'assistance contractuelle avec Access Transparency et Access Approval.
Publication d'informations sur les modifications non rétrocompatibles entre les versions de Managed Airflow et d'Airflow dans les notes de version de Managed Airflow.
Maintenir la documentation Managed Airflow à jour :
Fournir une description de toutes les fonctionnalités fournies par Managed Airflow.
Fournir des instructions de dépannage qui aident à maintenir les environnements dans un état sain.
Publier des informations sur les problèmes connus et les solutions de contournement (le cas échéant).
Résoudre les incidents de sécurité critiques liés aux environnements Managed Airflow et aux images Airflow fournies par Managed Airflow (à l'exclusion des packages Python installés par le client) en fournissant de nouvelles versions d'environnement qui corrigent les incidents.
Selon la formule d'assistance du client, résolution des problèmes d'état de l'environnement Managed Airflow.
Maintenir et étendre les fonctionnalités du fournisseur Terraform Managed Airflow.
Coopérer avec la communauté Apache Airflow pour gérer et développer des opérateurs Google Airflow.
Résoudre les problèmes et, si possible, corriger les problèmes liés aux fonctionnalités de base d'Airflow.
Responsabilités du client
Mettre à niveau vers les nouvelles versions de Managed Airflow et d'Airflow pour maintenir la compatibilité avec le produit et résoudre les problèmes de sécurité une fois que le service Managed Airflow publie une version de Managed Airflow qui résout les problèmes.
Maintenir le code des DAG pour qu'il reste compatible avec la version d'Airflow utilisée.
Conserver intacte la configuration du cluster GKE de l'environnement, en particulier sa fonctionnalité de mise à niveau automatique.
Maintenir les autorisations appropriées dans IAM pour le compte de service de l'environnement. En particulier, en conservant les autorisations requises par l'agent Managed Airflow et le compte de service de l'environnement. Maintenir l'autorisation requise pour la clé CMEK utilisée pour le chiffrement de l'environnement Managed Airflow et effectuer une rotation de la clé en fonction de vos besoins.
Maintenir les autorisations appropriées dans IAM pour le bucket de l'environnement et le dépôt Artifact Registry où sont stockées les images des composants de Managed Airflow.
Maintenir les autorisations IAM appropriées pour un compte de service qui effectue des installations de packages PyPI. Pour en savoir plus, consultez la page Contrôle des accès.
Maintenir les autorisations appropriées des utilisateurs finaux dans IAM et la configuration du contrôle des accès de l'interface utilisateur Airflow.
Maintenir la taille de la base de données Airflow en dessous de 16 Go à l'aide du DAG de maintenance.
Résoudre tous les problèmes d'analyse des DAG avant de créer des demandes d'assistance auprès de Cloud Customer Care.
Nommer correctement les DAG (par exemple, sans utiliser de caractères invisibles tels que ESPACE ou TABULATION dans les noms de DAG) afin que les métriques puissent être correctement signalées pour les DAG.
Mettez à niveau le code des DAG afin qu'il n'utilise pas d'opérateurs obsolètes et migrez vers leurs alternatives à jour. Les opérateurs obsolètes peuvent être supprimés des fournisseurs Airflow, ce qui peut avoir un impact sur vos projets de mise à niveau vers une version ultérieure de Managed Airflow ou d'Airflow. Les opérateurs obsolètes ne sont pas non plus gérés et doivent être utilisés "en l'état".
Configurer les autorisations IAM appropriées lors de l'utilisation de backends de secrets tels que Secret Manager afin que le compte de service de l'environnement y ait accès.
Ajuster les paramètres de l'environnement Managed Airflow (tels que le processeur et la mémoire pour les composants Airflow) et les configurations Airflow pour répondre aux attentes de performances et de charge des environnements Managed Airflow à l'aide du guide d'optimisation de Managed Airflow et du guide de scaling de l'environnement.
Évitez de supprimer les autorisations requises par l'agent Managed Airflow et les comptes de service de l'environnement (la suppression de ces autorisations peut entraîner l'échec des opérations de gestion ou des échecs de DAG et de tâches).
En gardant tous les services et API requis par Managed Airflow toujours activés. Ces dépendances doivent avoir des quotas configurés aux niveaux requis pour Managed Airflow.
Conserver les dépôts Artifact Registry qui hébergent les images de conteneurs utilisées par les environnements Managed Airflow.
Suivre les recommandations et les bonnes pratiques pour implémenter des DAG.
Diagnostiquer les échecs de DAG et de tâches à l'aide des instructions de dépannage du programmeur, de dépannage des DAG et de dépannage du déclencheur.
Évitez d'installer ou d'exécuter des composants supplémentaires dans le cluster GKE de l'environnement qui interfèrent avec les composants Managed Airflow et les empêchent de fonctionner correctement.
Maintenir un plan de reprise après sinistre, y compris configurer et gérer des instantanés pour répondre à vos besoins de conservation des données et de continuité des activités. Google ne restaure pas les environnements supprimés ni leurs sauvegardes de base de données.
Maintenir la chaîne d'approvisionnement des dépendances Python pour les packages installés par le client. Cela inclut la résolution des erreurs d'installation causées par des incompatibilités de dépendances Python et la définition de contraintes de version spécifiques lors de l'ajout ou de la modification de ces packages.