Créer des produits de données avec des compétences d'agent
Présentation
Ce guide explique comment utiliser les compétences agentives spécialisées de Cortex Framework (fournies directement par Cortex Framework dans le dépôt GitHub) avec un assistant de codage IA (tel que Gemini associé au framework de développement agentif Antigravity) pour créer des produits de données personnalisés qui respectent les bonnes pratiques de Cortex Framework.
Cortex Framework fournit des compétences agentiques spécialisées pour étendre ses capacités, ce qui permet à votre assistant IA de vous guider dans la création de produits de données conformes aux bonnes pratiques de Cortex Framework. Grâce à ces fonctionnalités, vous pouvez utiliser le langage naturel pour demander un nouveau produit de données en fonction d'exigences métier spécifiques. Par exemple, vous pouvez demander un produit de données de consommation de comptes créditeurs pour obtenir des insights sur le montant total dû, les montants en retard et le chiffre d'affaires. Le résultat est un produit de données Cortex Framework entièrement intégré, conçu en fonction des exigences et des données spécifiques de votre client, et prêt à être exécuté.
Compétences de l'agent
Les compétences agentiques sont un format ouvert et léger qui permet d'étendre les capacités des agents IA avec des connaissances et des workflows spécialisés. En substance, une compétence est un dossier contenant un fichier SKILL.md (qui inclut des métadonnées et des instructions) ainsi que des scripts, des références et des éléments facultatifs qui indiquent à un agent comment effectuer une tâche spécifique. Les compétences regroupent les connaissances procédurales et le contexte dans des dossiers portables que les agents chargent à la demande, ce qui leur permet de bénéficier d'une expertise du domaine et de workflows reproductibles. Les compétences Cortex Framework sont stockées dans le répertoire .agent.
Compétences d'agent Cortex Framework
Le générateur de produits de données agentif automatise le cycle de vie de développement de bout en bout des produits de données dans Cortex Framework. En demandant à votre assistant IA d'exécuter des workflows de développement structurés, vous n'avez plus besoin de créer manuellement des structures de fichiers, de naviguer dans des schémas SAP complexes, de configurer des couches de base, de gérer des espaces de noms personnalisés ni d'écrire du code SQLX Dataform récurrent.
L'assistant IA gère les tâches principales suivantes :
- Planification et mappage des exigences : traduit les exigences métier concrètes en un plan de modélisation et de développement des données exploitable.
- Recherche de schéma en direct : exécute des scripts qui interrogent les tables répliquées du dictionnaire de données SAP (DDIC) pour fournir des informations contextuelles spécifiques au client, telles que des champs Z personnalisés.
- Échafaudage de code récurrent : génère automatiquement tous les fichiers de configuration, métadonnées et artefacts de code SQLX ou JavaScript requis.
- Seuils de qualité des données : valide les produits de données en exécutant des builds locaux, en compilant du code SQL, en exécutant des tests unitaires et d'intégration, et en vérifiant la conformité avec les normes de dénomination.
- Création de documentation : crée automatiquement des éléments de documentation, y compris la visualisation des diagrammes de relation d'entité (ER) et des clés primaires de votre module de produit de données.
Le développement de produits de données dotés de ces compétences agentives est un processus itératif. Vous pouvez commencer par vos objectifs initiaux, examiner le plan d'implémentation proposé par l'agent, y compris les diagrammes et les schémas ER, et demander à l'assistant IA d'affiner la logique de manière conversationnelle au fur et à mesure. Bien que l'agent accélère le développement, vous gardez le contrôle total pour examiner et approuver tout le code généré avant de l'intégrer à votre dépôt. De plus, comme ces scripts agentiques s'exécutent localement à l'aide de vos identifiants d'authentification, ils respectent intrinsèquement vos limites d'accès Google Cloud et BigQuery existantes.
Prérequis
Avant d'utiliser les compétences d'agent, vérifiez que votre environnement de développement répond aux exigences suivantes pour activer les requêtes de schéma en direct, la compilation de données et la validation automatisée :
Google Cloud SDK (
gcloud) : installez et authentifiez la CLI (gcloud) avec votre compte utilisateur. Pour en savoir plus, consultez la documentation sur le déploiement.Identifiants par défaut de l'application (ADC) : configurez vos ADC locaux et vos cibles de projet pour que les outils de compilation locaux et les suites pytest puissent communiquer avec BigQuery. Pour en savoir plus, consultez Préparer votre projet Google Cloud par défaut.
Tables du dictionnaire de données SAP (DDIC) répliquées : Pour permettre à l'agent d'effectuer des vérifications de schéma non sensibles à la casse et de vérifier avec précision la longueur des champs, répliquez les tables de métadonnées SAP suivantes dans votre ensemble de données BigQuery cible brut :
DD03L(champs de table)DD04T(Textes des éléments de données)DD08L(Relations entre les tables)DD01L(Domaines)DD07L(valeurs de domaine, facultatif)DD07T(Textes des valeurs de domaine - facultatif)
Environnement Python local : installez les dépendances locales et exécutez l'outil de synchronisation à l'aide de
uvpour vous assurer que les bibliothèques de validation et les tests unitaires fonctionnent correctement. Pour en savoir plus, consultez la documentation.
Configuration de l'IDE
Avant de commencer, consultez la documentation de l'assistant de codage IA de votre choix pour obtenir des instructions d'installation et de configuration (par exemple, Antigravity).
Rassemblez les artefacts d'installation requis et clonez le dépôt. Pour en savoir plus, consultez Artefacts d'installation.
Ouvrez l'empreinte du code source Google Cloud Cortex Framework cloné dans l'assistant de codage IA de votre choix.
Google Cloud Cortex Framework expose ses capacités agentiques via un ensemble de compétences spécialisées situées dans le répertoire .agents/skills/ du dépôt. Vous pouvez utiliser ces compétences dans plusieurs environnements de développement :
Framework Antigravity : Antigravity découvre, indexe et active automatiquement toutes les compétences de l'espace de travail au démarrage. Aucune configuration supplémentaire n'est requise. Pour vérifier, demandez à l'assistant :
Quelles sont vos compétences ?
VSCode avec Gemini Code Assist :
- Installez l'extension Gemini Code Assist depuis VS Code Marketplace.
- Ouvrez le dossier
cortex-framework-coreen tant qu'espace de travail. L'assistant analyse et charge automatiquement les compétences à partir du répertoire.agents/skills/.
Autres outils d'IA en CLI : référencez le répertoire de compétences de manière native dans vos prompts d'instructions. Exemple :
Read the create-data-product skill inside the .agents/skills/ directory and scaffold...
Créer un produit de données personnalisé
Les étapes suivantes décrivent le workflow de développement structuré pour utiliser des compétences d'agent afin de créer un produit de données personnalisé.
Éthought Étape 1 : Fournir les exigences et le contexte
À l'aide de l'interface de chat de votre assistant de codage IA, fournissez un prompt décrivant vos exigences spécifiques en matière de données. Exemple :
Créez un produit de données Cortex Framework pour les insights sur la comptabilité fournisseurs ciblant SAP S/4HANA et ECC. Utilisez l'espace de noms custom_finance. La principale exigence de l'entreprise est de suivre le montant total dû et les montants en retard de paiement pour l'ensemble de nos fournisseurs, et de calculer notre taux de rotation des comptes fournisseurs par code d'entreprise.
Notez que vous pouvez également référencer des documents d'exigences ou de spécifications existants directement dans votre requête. Ces documents (qui peuvent être au format Markdown ou dans d'autres formats structurés) fournissent à l'agent un contexte essentiel, par exemple :
- Contexte et domaine de l'entreprise : objectifs détaillés, user stories et consommateurs cibles.
- Spécifications des données d'entrée : liste des tables sources (par exemple,
LFA1,BSIK,BSEG,Z...), détails de gestion des versions (ECC ou S/4HANA), règles d'exclusion, champs personnalisés, etc. - Logique de transformation et règles métier : contraintes de mappage de base, filtrage des clients (
mandt), suppressions réversibles (loekz), gestion des mappages d'indicateurs de blocage de paiement (zlspr) et règles de rapprochement (par exemple, exclusion des transactions de fournisseurs interentreprises pour éviter des taux de rotation faussés). - Intégrité des données et assertions de test : scénarios de vérification (par exemple, vérifier l'unicité du grain et s'assurer que la somme des montants des factures en cours dans le résultat final correspond exactement aux tables sources brutes).
Étape 2 : Examinez le plan d'implémentation
Une fois que vous avez défini les exigences, l'agent utilise plusieurs compétences, telles que la compétence query-sap-ddic, pour interroger vos tables de métadonnées DDIC BigQuery brutes. Cela permet à l'agent d'identifier et de valider les tables sources requises, en s'assurant que les types de champs et les relations sont exacts. L'agent peut également invoquer d'autres compétences pour s'assurer que vos exigences sont parfaitement conformes aux bonnes pratiques de Cortex Framework.
Avant de commencer l'implémentation, l'agent fournit un bref plan d'implémentation que vous pouvez examiner. Ce plan inclut les tables sources identifiées, les mappages et la structure architecturale proposée pour le produit de données. Examinez ce plan et demandez des ajustements avant de confirmer.
Étape 3 : Générer le produit de données
Une fois que vous avez confirmé le plan d'implémentation, l'agent utilise la compétence create-data-product pour créer la structure de répertoires. Cela permet d'isoler vos nouveaux développements personnalisés des mises à jour de la plate-forme principale sous l'espace de noms personnalisé que vous avez désigné :
src/data_modules/<custom_namespace>/products/<dataproductname>/
├── manifest.yaml
├── table_settings.default.yaml
├── README.md
├── definitions/
│ └── [ecc|s4]/
│ └── <product_name>.js
└── annotations/
└── [ecc|s4]/
└── <product_name>.yaml
Pour en savoir plus sur la structure des dossiers et les fichiers individuels, consultez la documentation du guide d'extensibilité.
Pendant cette phase, vous pouvez également demander à l'agent de visualiser automatiquement les relations à l'aide de la compétence generate-er-diagram ou de créer des assertions à l'aide de la compétence create-python-tests.
Étape 4 : Exécuter les seuils de qualité et vérifier les données
En fonction des autorisations qui lui sont accordées, l'agent exécutera automatiquement les étapes de validation obligatoires suivantes ou vous invitera à les exécuter. Tout au long de ce processus, l'agent génère des rapports d'état précis pour que vous puissiez examiner les résultats :
- Validation de la compilation : exécute
uv run cortex-build --config config/config.yamlpour s'assurer que tous les modèles SQL générés sont compilés correctement, ce qui produit un résumé de la compilation. - Exécution de Pytest : exécute la suite complète de tests unitaires Python, en générant un rapport d'exécution de test qui vérifie votre logique métier principale et vos assertions.
- Linter et audits : utilise la compétence
validate-data-productpour effectuer des vérifications strictes de la parité des champs et vérifier la conformité aux conventions d'attribution de noms, puis génère un rapport d'aptitude détaillé.
Étape 5 : Déployer et exécuter
Après avoir examiné les rapports de validation et approuvé le code généré, vous êtes prêt à déployer vos éléments de produit de données.
- Déployer les éléments : transmettez les définitions de produits de données compilées à votre espace de travail Dataform configuré en exécutant le script de déploiement localement (par exemple, uv run cortex-deploy --config config/config.yaml).
- Matérialiser les données : terminez le workflow final post-déploiement pour exécuter les pipelines Dataform générés, en matérialisant vos nouvelles tables et vues directement dans BigQuery.
- Fournir des insights : une fois matérialisé, votre produit de données personnalisé est prêt à être connecté à des applications d'analyse en aval, telles que Gemini Enterprise, pour fournir des réponses intelligentes et exploitables à vos questions métier initiales.
Mettre à jour un produit de données existant
Une fois votre produit de données personnalisé créé, vous n'avez pas besoin de repartir de zéro pour y apporter des modifications. Vous pouvez utiliser la compétence update-data-product pour ajouter de nouveaux champs de manière itérative, ajuster la logique métier ou intégrer de nouvelles tables sources. Exemple :
Mets à jour mon produit de données AP custom_finance. Ajoutez le champ des conditions de paiement (ZTERM) de la table source LFA1 et assurez-vous qu'il est correctement mappé à la vue de sortie finale. Une fois que vous avez terminé, exécutez la validation de la compilation.
L'agent localisera la configuration, interrogera le DDIC BigQuery pour connaître les exigences exactes des champs, mettra à jour votre code Dataform et exécutera les vérifications de compilation nécessaires pour valider la modification.
Bonnes pratiques et limites
- Échecs de requêtes de schéma : si l'agent ne parvient pas à récupérer les schémas de métadonnées SAP, vérifiez que vos Identifiants par défaut de l'application (ADC) locaux sont actifs et qu'ils disposent du rôle IAM "Lecteur de données BigQuery" pour l'ensemble de données brut cible.
- Limites de contexte : si vous créez un produit de données exceptionnellement volumineux impliquant des dizaines de tables, l'agent peut perdre le contexte. Améliorez votre taux de réussite en fournissant des instructions plus petites et atomiques (par exemple, demandez à l'agent de créer d'abord les dimensions au niveau de l'en-tête, puis d'ajouter les faits au niveau de l'élément dans un prompt de suivi distinct).