Leistung mit Leistungszählern im Mainframe Connector überwachen

In dieser Anleitung wird beschrieben, wie Sie Leistungszählertraces in Mainframe Connector aktivieren und erfassen.

Übersicht

Leistungszähler erfassen Ausführungsstatistiken mit hoher Auflösung und Statusdaten auf Thread-Ebene während Mainframe Connector-Vorgängen wie Dataset-Transcodierung, Cloud Storage-Uploads und BigQuery-Datenladevorgängen. Sie können Zählertraces verwenden, um Leistungsengpässe, Speicher- oder Warteschlangenüberlastung, Thread-Blockierung, Netzwerk- oder E/A-Beschränkungen und die Mainframe-Systemressourcennutzung zu diagnostizieren.

Erfasste Schlüsselmesswerte

Leistungszählertraces enthalten hochfrequente Stichproben interner Messwerte wie:

  • Worker-Status-Tracking:Zeit in den Status active, queue_blocked, io_blocked, compressing und hashing.
  • E/A und Durchsatz:Gelesene und geschriebene Byte, Übertragungsdurchsatz und Chunk-Transcodierungsraten.
  • Warteschlangendynamik:Puffer- und Worker-Warteschlangengrößen in den verschiedenen Phasen der Ausführungspipeline.
  • Systemmesswerte:Zeitangaben für Vorgänge auf niedriger Ebene, korreliert mit Zeitstempeln mit Nanosekundenpräzision.

Bei Leistungszählertraces werden nur Ausführungsmetadaten und Zeitstatistiken erfasst. Dataset-Inhalte, Kundendatensätze oder personenbezogene Daten werden nicht erfasst.

Leistungszähler aktivieren

Leistungszähler sind standardmäßig deaktiviert. Sie können sie aktivieren, indem Sie die Umgebungsvariable MFC_PERF_FILE vor dem Ausführen von Mainframe Connector-Jobs auf den Zielausgabepfad festlegen.

Shell-Umgebungen

Wenn Sie Leistungszähler in einer Shell-Umgebung in Linux oder z/OS UNIX System Services aktivieren möchten, exportieren Sie MFC_PERF_FILE, bevor Sie Mainframe Connector aufrufen:

export MFC_PERF_FILE="/tmp/mfc_perf.perf"
copy binary file:/path/to/file gs://bucket/path/to/object

Wenn Sie die Erfassung von Leistungszählern deaktivieren möchten, heben Sie die Festlegung der Umgebungsvariable auf:

unset MFC_PERF_FILE

Mainframe-JCL-Umgebung

Wenn Sie Leistungszähler für einen JCL-Job aktivieren möchten, der Mainframe Connector ausführt, definieren Sie MFC_PERF_FILE in der Mainframe Connector-Prozedur oder in der Prozedur PARM des Jobs. Wenn Sie eine eigene PARM angeben, behalten Sie immer auch die Standard-PARM (/I+ com.google.bqsh.Bqsh) bei.

Im folgenden Beispiel wird gezeigt, wie Sie Leistungszähler für einen JCL-Job aktivieren:

//STEP01 EXEC BQSH,PARMDD=MFCPERF
//INFILE DD DSN=HLQ.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DSN=HLQ.COPYBOOK.FILENAME,DISP=SHR
//MFCPERF DD *
ENVAR("MFC_PERF_FILE=/tmp/mfc_perf.perf")/I+
com.google.bqsh.Bqsh
/*
//STDIN DD *
BUCKET=my-target-bucket-1234
gsutil cp --replace gs://$BUCKET/tablename.orc
/*

Leistungszähler konfigurieren

Sie können die Stichprobenhäufigkeit und die maximale Dateigröße von Leistungszählerprotokollen mit den folgenden Umgebungsvariablen konfigurieren:

Umgebungsvariable Beschreibung Standardwert
MFC_PERF_FILE Der Pfad, in den die Leistungszählermesswerte geschrieben werden. Wenn die Variable nicht festgelegt oder leer ist, ist die Erfassung von Leistungszählern deaktiviert. Deaktiviert
MFC_PREF_COLLECTION_INTERVAL_MS Die Stichprobenhäufigkeit in Millisekunden. Gibt an, wie oft Messwerte in die Ausgabedatei geschrieben werden. 100 (0,1 Sekunden)
MFC_MAX_PERF_MAX_FILE_SIZE_BYTES Die maximale Größe der Ausgabedatei in Byte. Sobald dieser Wert erreicht ist, wird das Schreiben automatisch beendet, um zu verhindern, dass der Festplattenspeicher voll wird. 67108864 (64 MiB)

Zählerdateien zur Analyse an den Google-Support senden

Die von der Funktion für Leistungszähler generierte Ausgabedatei (z. B. /tmp/mfc_performance.perf) ist als binäres Dataset formatiert, das strukturierte Messwertschemata und Messdatensätze enthält. Sie ist kein für Menschen lesbarer Klartext und kann nicht direkt mit Standard-Log-Viewern ausgewertet werden.

Für die Ausgabedatei sind interne Google-Analysetools und spezielle Messwertvisualisierer erforderlich, um Zustandsübergänge und Warteschlangentiefe-Diagramme zu decodieren. Wenn Sie die Leistungsdaten analysieren möchten, senden Sie die generierte Datei an Google Cloud den Support oder Ihren Technical Account Manager.

Wenn Sie einen Supportfall zu Leistungsproblemen, langsamem Transcodierungsdurchsatz oder unerwarteter Jobdauer eröffnen, gehen Sie so vor:

  1. Legen Sie MFC_PERF_FILE auf einen gültigen Pfad fest (z. B. /tmp/mfc_perf.perf).
  2. Reproduzieren Sie das Problem, indem Sie die Jobausführung unter Leistungsüberwachung ausführen.
  3. Rufen Sie die generierte .perf-Datei aus dem angegebenen Pfad ab.
  4. Hängen Sie die .perf-Datei zusammen mit Ihren Jobprotokollen an Ihren Google Cloud Supportfall an, damit sie von Google-Entwicklern ausgewertet werden kann.