Mainframe Connector 参考文档

设置 Cloud Logging

如需了解如何为 Mainframe Connector 配置 Cloud Logging，请参阅设置 Cloud Logging。

启用加载统计信息

负载统计信息功能会将您使用 Mainframe Connector 执行的每个命令记录在 SQL 表中。如需启用加载统计信息功能，请使用以下命令创建表，并将标志 --stats_table TABLE_NAME 添加到 cp 命令中，其中 TABLE_NAME 是 SQL 表的名称。

CREATE TABLE
  `[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
    timestamp TIMESTAMP,
    job_id STRING,
    job_name STRING,
    job_date DATE,
    job_time TIME,
    job_step_name STRING,
    job_type STRING,
    source STRING,
    destination STRING,
    job_json STRING,
    rows_read INT64,
    rows_written INT64,
    rows_affected INT64,
    rows_inserted INT64,
    rows_deleted INT64,
    rows_updated INT64,
    rows_unmodified INT64,
    rows_before_merge INT64,
    rows_loaded INT64,
    bq_job_id STRING,
    bq_job_project STRING,
    bq_job_location STRING,
    statement_type STRING,
    query STRING,
    execution_ms INT64,
    queued_ms INT64,
    bytes_processed INT64,
    slot_ms INT64,
    slot_utilization_rate FLOAT64,
    slot_ms_to_total_bytes_ratio FLOAT64,
    shuffle_bytes FLOAT64,
    shuffle_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_bytes FLOAT64,
    shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
    shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_gb FLOAT64,
    bq_stage_count INT64,
    bq_step_count INT64,
    bq_sub_step_count INT64,
    bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
  partition_expiration_days=1000,
  description="Log table for mainframe jobs",
  require_partition_filter=true)

替换以下内容：

• PROJECT_NAME：您要在其中执行命令的项目的名称。
• DATASET_NAME：数据集文件的名称。
• TABLE_NAME：您要记录详细信息的 SQL 表的名称。

数据集名称

您可以在 BQSH JCL 过程中使用以下数据集定义 (DD) 文件。确保 DD 文件引用的所有 MVS 数据集都使用固定块 (FB) 记录格式。

DD 名称	说明
COPYBOOK	包含由 INFILE DD 引用的数据集的 COBOL 复制簿的 MVS 数据集。您可以使用 copybook DD，但有一些限制。如需了解详情，请参阅 COPYBOOK DD 使用限制。
INFILE	包含要上传到 Cloud Storage 的 COBOL 数据集的 MVS 数据集。
KEYFILE	包含 Identity and Access Management 服务账号 JSON 密钥文件的 MVS 数据集。
OUTFILE	包含要从 BigQuery 加载的 COBOL 数据集的 MVS 数据集。
查询	包含 BigQuery 标准 SQL 查询的 MVS 数据集。QUERY DD 是一个逻辑记录大小 (LRECL) 为 80 的 FB 文件。这意味着文件中的每条记录的长度均为 80 字节。
STDIN	用于提供 shell 命令的流输入。