Configurer Cloud Logging
Pour savoir comment configurer Cloud Logging pour Mainframe Connector, consultez Configurer Cloud Logging.
Activer les statistiques de chargement
La fonctionnalité de statistiques de chargement enregistre chaque commande que vous exécutez à l'aide de Mainframe Connector dans une table SQL. Pour activer cette fonctionnalité, créez une table à l'aide de la commande suivante et ajoutez l'indicateur --stats_table TABLE_NAME à la commande cp, où TABLE_NAME correspond au nom de la table SQL.
CREATE TABLE
`[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
timestamp TIMESTAMP,
job_id STRING,
job_name STRING,
job_date DATE,
job_time TIME,
job_step_name STRING,
job_type STRING,
source STRING,
destination STRING,
job_json STRING,
rows_read INT64,
rows_written INT64,
rows_affected INT64,
rows_inserted INT64,
rows_deleted INT64,
rows_updated INT64,
rows_unmodified INT64,
rows_before_merge INT64,
rows_loaded INT64,
bq_job_id STRING,
bq_job_project STRING,
bq_job_location STRING,
statement_type STRING,
query STRING,
execution_ms INT64,
queued_ms INT64,
bytes_processed INT64,
slot_ms INT64,
slot_utilization_rate FLOAT64,
slot_ms_to_total_bytes_ratio FLOAT64,
shuffle_bytes FLOAT64,
shuffle_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_bytes FLOAT64,
shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_gb FLOAT64,
bq_stage_count INT64,
bq_step_count INT64,
bq_sub_step_count INT64,
bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
partition_expiration_days=1000,
description="Log table for mainframe jobs",
require_partition_filter=true)
Remplacez les éléments suivants :
PROJECT_NAME: nom du projet dans lequel vous souhaitez exécuter la commande.DATASET_NAME: nom du fichier d'ensemble de données.TABLE_NAME: nom de la table SQL dans laquelle vous souhaitez enregistrer les détails.
Noms d'ensembles de données
Vous pouvez utiliser les fichiers de définition d'ensemble de données (DD) suivants dans votre procédure BQSH JCL. Assurez-vous que tous les ensembles de données MVS référencés par un fichier DD utilisent le format d'enregistrement de bloc fixe (FB).
| Nom DD | Description |
|---|---|
| COPYBOOK | Ensemble de données MVS contenant un copybook COBOL pour l'ensemble de données référencé par un INFILE DD. Vous pouvez utiliser le copybook DD avec quelques restrictions. Pour en savoir plus, consultez Restrictions d'utilisation de COPYBOOK DD. |
| INFILE | Ensemble de données MVS contenant un ensemble de données COBOL à importer dans Cloud Storage. |
| KEYFILE | Ensemble de données MVS contenant un fichier de clé JSON de compte de service Identity and Access Management. |
| OUTFILE | Ensemble de données MVS contenant un ensemble de données COBOL à charger à partir de BigQuery. |
| QUERY | Ensemble de données MVS contenant une requête SQL standard BigQuery. Le QUERY DD est un fichier FB dont la taille d'enregistrement logique (LRECL) est de 80. Cela signifie que chaque enregistrement du fichier mesure 80 octets. |
| STDIN | Entrée de flux utilisée pour fournir des commandes shell. |