Cloud Monitoring에서 정책을 수동으로 구성하지 않고 스트리밍 파이프라인 상태와 리소스 소비를 모니터링하려면 Dataflow에서 턴키 알림을 사용 설정하면 됩니다. 턴키 알림은 작업 시작 중에 사용 설정할 수 있는 사전 구성된 권장 알림 정책 모음을 제공합니다.
이 기능을 사용하면 다음 작업을 할 수 있습니다.
- 즉시 가시성 확보: 수동 설정 없이 백로그 처리 시간, vCPU 증가와 같은 중요한 스트리밍 측정항목을 자동으로 추적합니다.
- 모니터링 표준화: 신규 및 기존 프로덕션 워크로드에 기준 알림 정책을 빠르게 적용합니다.
- 맞춤 알림 맞춤설정: 기본 알림 기준을 조정하거나, 개별 정책을 사용 중지하거나, 자체 맞춤 알림 정책을 모음에 추가합니다.
Cloud Monitoring에서 언제든지 이러한 기본 정책을 맞춤설정하거나 자체 맞춤 알림 정책을 턴키 알림 모음과 통합할 수 있습니다.
기본 요건
턴키 알림을 사용하려면 프로젝트가 다음 요구사항을 충족해야 합니다.
알림 채널: 알림 채널이 하나 이상 구성되어 있어야 합니다 (예: 이메일, Slack, PagerDuty). 알림이 올바른 이해관계자에게 전달되도록 필수 연락처를 구성하는 것이 좋습니다. 이 요구사항은 Dataflow 서비스에서 적용되지 않습니다. 자세한 내용은 알림 채널 만들기 및 관리를 참조하세요.
권한: Dataflow 서비스 계정 (P4SA)에는 이러한 정책을 대신 만들고 관리하기 위한 특정 IAM 권한이 필요합니다.
monitoring.alertPolicies.getmonitoring.alertPolicies.listmonitoring.alertPolicies.createmonitoring.alertPolicies.updatemonitoring.alertPolicies.delete
새 프로젝트의 경우 이러한 권한이 자동으로 추가됩니다. 기존 프로젝트의 경우 P4SA 계정에서 이러한 권한을 수동으로 설정해야 할 수 있습니다.
P4SA 권한 업데이트
Dataflow 서비스 에이전트 (일반적으로 P4SA 또는 제품별, 프로젝트별 서비스 계정이라고 함)는 Dataflow API를 사용 설정할 때 생성되는 자동 관리 서비스 계정입니다. 이메일 주소는 다음 형식을 사용합니다.
service-PROJECT_NUMBER@dataflow-service-producer-prod.
P4SA를 업데이트하려면 resourcemanager.projects.setIamPolicy 권한 또는 프로젝트 IAM 관리자 (roles/resourcemanager.projectIamAdmin)와 같이 이 권한이 포함된 역할이 필요합니다.
콘솔을 사용하여 필요한 역할을 부여하려면 다음 단계를 따르세요. Google Cloud
콘솔에서 IAM 페이지로 이동합니다. Google Cloud
프로젝트를 선택합니다.
Google 제공 역할 부여 포함 체크박스를 선택합니다.
주 구성원 목록에서 Dataflow 서비스 에이전트 (
service-PROJECT_NUMBER@dataflow-service-producer-prod.또는 Cloud Dataflow 서비스 에이전트 역할이 있는)의 행을 찾습니다.해당 행에서 주 구성원 수정을 클릭합니다.
권한 수정 창에서 다른 역할 추가 를 클릭합니다.
역할 선택 목록에서 모니터링 편집자 (
roles/monitoring.editor)를 선택합니다.저장 을 클릭합니다. 권한 업데이트가 전파되는 데 몇 분 정도 걸릴 수 있습니다.
턴키 알림 사용 설정
gcloud CLI를 사용하여 턴키 알림에 작업을 등록할 수 있습니다.
gcloud CLI를 사용하여 알림 사용 설정
작업 제출 중에 다음 플래그 중 하나를 추가하여 기능을 사용 설정 또는 중지합니다.
--enable-turnkey-alerts--no-enable-turnkey-alerts
서비스 계정에 필요한 권한이 없으면 CLI에서 요청을 거부하고 누락된 권한을 표시합니다. 자세한 내용은 기본 요건을 참조하세요.
턴키 알림 설정은 작업 업데이트 전반에 걸쳐 유지됩니다. 작업을 업데이트하면 이전 턴키 알림 설정이 유지되므로 설정을 변경하려는 경우가 아니면 --enable-turnkey-alerts 또는 --no-enable-turnkey-alerts 플래그를 다시 지정할 필요가 없습니다.
기본 정책 모음
턴키 알림에는 처리 시간 및 리소스 사용률과 같은 실시간 KPI에 중점을 두는 일반적인 스트리밍 워크로드용으로 설계된 두 가지 기본 정책이 포함되어 있습니다. 서비스에서 라벨을 기본 식별자로 사용하지만 Google 제공 정책에는 식별을 위해 Default Policy:가 접두사로 붙습니다.
고객은 기본 정책 모음의 모든 정책에 자동으로 등록됩니다. 필요한 경우 Cloud Monitoring 알림에서 특정 기본 정책을 사용 중지할 수 있습니다.
| 정책 이름 | 기본 측정항목 | 기본 기준 | 근거 |
|---|---|---|---|
| 기본 정책: 예상 백로그 | job/estimated_backlog_processing_time |
30분 | 현재 백로그를 지우는 데 필요한 시간을 추정합니다. 백로그가 30분을 초과하면 작업이 진행되는 데 어려움을 겪고 있음을 나타냅니다. |
| 기본 정책: vCPU 증가 정책 | job/current_num_vcpus |
7일 평균에 비해 1시간 평균 vCPU 사용량이 5배 이상 증가 | 예상치 못한 작업 비용을 측정하는 데 도움이 되도록 vCPU 수의 상대적 변화를 모니터링합니다. |
정책 수명 주기
- 베타 정책: 이러한 정책의 이름에는
BETA접두사가 있으며 기준이 세분화됨에 따라 변경되거나 삭제될 수 있습니다. - GA 정책: 정책이 안정적인 것으로 간주되면
BETA접두사가 삭제됩니다.
알림 맞춤설정 및 관리
턴키 알림은 시작점 역할을 합니다. 특정 비즈니스 요구사항에 맞게 맞춤설정하는 것이 좋습니다.
- 콘솔에서 Cloud Monitoring > 알림으로 이동합니다. Google Cloud
- 정책 (예: 기본 정책: 예상 백로그)을 찾습니다.
- 원하는 값으로 기준을 수정합니다.
커스텀 정책 만들기
goog-turnkey-alerts 라벨을 추가하여 턴키 알림 모음에 Cloud Monitoring 알림 정책을 추가할 수 있습니다. 이렇게 하면 기본 모음과 함께 비즈니스별 커스텀 규칙을 관리할 수 있습니다.
알림 정책 사용 중지 또는 삭제
Monitoring을 사용하여 특정 기본 정책을 사용 중지하거나 삭제할 수 있습니다. 정책을 사용 중지하면 Monitoring에서 정책 조건 평가를 중지하고 새 이슈가 생성되지 않지만 정책 구성은 유지됩니다. 정책을 삭제하면 프로젝트에서 영구적으로 삭제됩니다. 정책 수명 주기 관리에 대한 자세한 내용은 알림 정책 관리 및 사용 중지된 알림 정책을 참조하세요.
문제 해결
| 문제 | 해결 방법 |
|---|---|
| PERMISSION_DENIED | Dataflow P4SA에 기본 요건에 나열된 필수 monitoring.alertPolicies.* 권한이 있는지 확인합니다. P4SA에 이러한 역할이 없어도 파이프라인은 계속 실행되지만 기본 알림을 만들 수 없음을 나타내는 PERMISSION_DENIED 오류가 명령줄 출력 및 작업 로그에 표시됩니다. |
| 알림을 받지 못함 | 이슈를 확인하여 알림 조건이 충족되었는지 확인합니다. Monitoring에서 알림 발생 및 사고 타임라인을 볼 수 있습니다 (이슈 및 이벤트 보기 참고). |
| 중복 정책 | 일반적으로 여러 정책이 goog-turnkey-alerts 라벨과 동일한 측정항목 구성을 공유하는 경우에 발생합니다. Dataflow는 정확한 이름 일치보다는 중복되는 라벨과 측정항목을 확인합니다. 정책을 검토하고 중복 구성에서 라벨을 삭제합니다. |