이 가이드에서는 Mainframe Connector에서 성능 카운터 trace를 사용 설정하고 수집하는 방법을 설명합니다.
개요
성능 카운터는 데이터세트 트랜스코딩, Cloud Storage 업로드, BigQuery 데이터 로드와 같은 Mainframe Connector 작업 중에 고해상도 실행 측정항목과 스레드 수준 상태 데이터를 캡처합니다. 카운터 추적을 사용하여 성능 병목 현상, 메모리 또는 큐 백프레셔, 스레드 차단, 네트워크 또는 I/O 제약 조건, 메인프레임 시스템 리소스 사용량을 진단할 수 있습니다.
캡처된 주요 측정항목
성능 카운터 추적에는 다음과 같은 내부 측정항목의 고주파 샘플이 포함됩니다.
- 작업자 상태 추적:
active,queue_blocked,io_blocked,compressing,hashing상태에서 소요된 시간입니다. - I/O 및 처리량: 읽기 및 쓰기 바이트, 전송 처리량, 청크 트랜스코딩 속도입니다.
- 대기열 동적: 실행 파이프라인 단계 전반의 버퍼 및 작업자 대기열 크기입니다.
- 시스템 측정항목: 나노초 정밀도 타임스탬프와 관련된 하위 수준 작업 타이밍입니다.
성능 카운터 추적은 실행 메타데이터와 타이밍 통계만 수집합니다. 데이터세트 콘텐츠, 고객 기록 또는 개인 식별 정보 (PII)는 수집하지 않습니다.
성능 카운터 사용 설정
성능 카운터는 기본적으로 사용 중지되어 있습니다. 메인프레임 커넥터 작업을 실행하기 전에 MFC_PERF_FILE 환경 변수를 대상 출력 경로로 설정하여 사용 설정할 수 있습니다.
셸 환경
Linux 또는 z/OS UNIX 시스템 서비스 내의 셸 환경에서 성능 카운터를 사용 설정하려면 Mainframe Connector를 호출하기 전에 MFC_PERF_FILE을 내보냅니다.
export MFC_PERF_FILE="/tmp/mfc_perf.perf"
copy binary file:/path/to/file gs://bucket/path/to/object
성능 카운터 수집을 사용 중지하려면 환경 변수를 설정 해제합니다.
unset MFC_PERF_FILE
메인프레임 JCL 환경
메인프레임 커넥터를 실행하는 JCL 작업의 성능 카운터를 사용 설정하려면 메인프레임 커넥터 절차 또는 작업의 절차 PARM에서 MFC_PERF_FILE을 정의합니다.
자체 PARM을 제공하는 경우 항상 기본 PARM (/I+ com.google.bqsh.Bqsh)도 유지하세요.
다음 예에서는 JCL 작업의 성능 카운터를 사용 설정하는 방법을 보여줍니다.
//STEP01 EXEC BQSH,PARMDD=MFCPERF
//INFILE DD DSN=HLQ.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DSN=HLQ.COPYBOOK.FILENAME,DISP=SHR
//MFCPERF DD *
ENVAR("MFC_PERF_FILE=/tmp/mfc_perf.perf")/I+
com.google.bqsh.Bqsh
/*
//STDIN DD *
BUCKET=my-target-bucket-1234
gsutil cp --replace gs://$BUCKET/tablename.orc
/*
성능 카운터 구성
다음 환경 변수를 사용하여 성능 카운터 로그의 샘플링 빈도와 최대 파일 크기를 구성할 수 있습니다.
| 환경 변수 | 설명 | 기본값 |
|---|---|---|
MFC_PERF_FILE |
성능 카운터 측정항목이 작성될 경로입니다. 설정 해제되거나 비어 있으면 성능 카운터 수집이 사용 중지됩니다. | 사용 중지됨 |
MFC_PREF_COLLECTION_INTERVAL_MS |
샘플링 빈도(밀리초)입니다. 측정항목이 출력 파일로 플러시되는 빈도를 지정합니다. | 100 (0.1초) |
MFC_MAX_PERF_MAX_FILE_SIZE_BYTES |
출력 파일의 최대 크기 제한(바이트)입니다. 이 크기에 도달하면, 디스크 저장용량이 채워지는 것을 방지하기 위해 쓰기가 자동으로 중지됩니다. | 67108864 (64 MiB) |
분석을 위해 Google 지원팀에 카운터 파일 전송
성능 카운터 기능으로 생성된 출력 파일 (예: /tmp/mfc_performance.perf)은 구조화된 측정항목 스키마와 측정 기록이 포함된 바이너리 데이터세트 형식으로 지정됩니다. 사람이 읽을 수 있는 일반 텍스트가 아니며 표준 로그 뷰어로 직접 평가할 수 없습니다.
출력 파일에는 상태 전환 및 대기열 깊이 그래프를 디코딩하기 위한 내부 Google 분석 도구와 특수 측정항목 시각화 도구가 필요합니다. 성능 데이터를 분석하려면 생성된 파일을 Google Cloud 지원팀 또는 기술계정 관리자에게 제출하세요.
성능 문제, 트랜스코딩 처리량 저하 또는 예기치 않은 작업 기간과 관련하여 지원 케이스를 접수할 때는 다음 단계를 따르세요.
MFC_PERF_FILE을 유효한 경로 (예:/tmp/mfc_perf.perf)로 설정합니다.- 성능 모니터링에서 작업 실행을 실행하여 문제를 재현합니다.
- 지정된 경로에서 생성된
.perf파일을 가져옵니다. - Google 엔지니어의 평가를 위해 작업 로그와 함께
.perf파일을 Google Cloud 지원 케이스 에 첨부합니다.