Cloud Monitoring에서 정책을 수동으로 구성하지 않고도 스트리밍 파이프라인 상태와 리소스 소비를 모니터링하려면 Dataflow에서 턴키 알림을 사용 설정하면 됩니다. 턴키 알림은 작업 시작 중에 사용 설정할 수 있는 사전 구성된 권장 알림 정책 모음을 제공합니다.
이 기능을 사용하면 다음 작업을 할 수 있습니다.
- 즉각적인 가시성 확보: 수동 설정 없이 백로그 처리 시간, vCPU 증가와 같은 중요한 스트리밍 측정항목을 자동으로 추적합니다.
- 모니터링 표준화: 신규 및 기존 프로덕션 워크로드에 기준 알림 정책을 빠르게 적용합니다.
- 알림 맞춤설정: 기본 알림 기준을 조정하거나, 개별 정책을 사용 중지하거나, 자체 맞춤 알림 정책을 제품군에 추가합니다.
Cloud Monitoring에서 언제든지 이러한 기본 정책을 맞춤설정하거나 자체 맞춤 알림 정책을 턴키 알림 제품군과 통합할 수 있습니다.
기본 요건
턴키 알림을 사용하려면 프로젝트가 다음 요구사항을 충족해야 합니다.
알림 채널: 알림 채널이 하나 이상 구성되어 있어야 합니다(예: 이메일, Slack, PagerDuty). 알림이 올바른 이해관계자에게 전달되도록 필수 연락처를 구성하는 것이 좋습니다. 이 요구사항은 Dataflow 서비스에서 적용되지 않습니다. 자세한 내용은 알림 채널 만들기 및 관리를 참조하세요.
권한: Dataflow 서비스 계정(P4SA)에는 사용자를 대신하여 이러한 정책을 만들고 관리할 수 있는 특정 IAM 권한이 필요합니다.
monitoring.alertPolicies.getmonitoring.alertPolicies.listmonitoring.alertPolicies.createmonitoring.alertPolicies.updatemonitoring.alertPolicies.delete
새 프로젝트의 경우 이러한 권한이 자동으로 추가됩니다. 기존 프로젝트의 경우 P4SA 계정에서 이러한 권한을 수동으로 설정해야 할 수 있습니다.
P4SA 권한 업데이트
Dataflow 서비스 에이전트(P4SA 또는 제품별, 프로젝트별 서비스 계정이라고도 함)는 Dataflow API를 사용 설정할 때 생성되는 자동 관리형 서비스 계정입니다. 이메일 주소는 다음 형식을 사용합니다.
service-PROJECT_NUMBER@dataflow-service-producer-prod.
P4SA를 업데이트하려면 resourcemanager.projects.setIamPolicy 권한 또는 이 권한이 포함된 역할(예: 프로젝트 IAM 관리자(roles/resourcemanager.projectIamAdmin))이 필요합니다.
Google Cloud 콘솔을 사용하여 필요한 역할을 부여하려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 IAM 페이지로 이동합니다.
프로젝트를 선택합니다.
Google 제공 역할 부여 포함 체크박스를 선택합니다.
주 구성원 목록에서 Dataflow 서비스 에이전트(
service-PROJECT_NUMBER@dataflow-service-producer-prod.또는 Cloud Dataflow 서비스 에이전트 역할)의 행을 찾습니다.이 행에서 주 구성원 수정을 클릭합니다.
권한 수정 창에서 다른 역할 추가를 클릭합니다.
역할 선택 목록에서 모니터링 편집자(
roles/monitoring.editor)를 선택합니다.저장을 클릭합니다. 권한 업데이트가 전파되는 데 몇 분 정도 걸릴 수 있습니다.
턴키 알림 사용 설정
gcloud CLI를 사용하여 작업에 즉시 사용 가능한 알림을 등록할 수 있습니다.
gcloud CLI를 사용하여 알림 사용 설정
작업 제출 중에 다음 플래그 중 하나를 추가하여 기능을 사용 설정하거나 중지합니다.
--enable-turnkey-alerts--no-enable-turnkey-alerts
서비스 계정에 필요한 권한이 없으면 CLI에서 요청을 거부하고 누락된 권한을 표시합니다. 자세한 내용은 기본 요건을 참조하세요.
턴키 알림 설정은 작업 업데이트 전반에서 유지됩니다. 작업을 업데이트하면 이전 턴키 알림 설정이 유지되므로 설정을 변경하지 않는 한 --enable-turnkey-alerts 또는 --no-enable-turnkey-alerts 플래그를 다시 지정할 필요가 없습니다.
기본 정책 제품군
턴키 알림에는 일반적인 스트리밍 워크로드를 위해 설계된 두 가지 기본 정책이 포함되어 있으며, 처리 시간 및 리소스 사용률과 같은 실시간 KPI에 중점을 둡니다. Google에서 제공하는 정책에는 식별을 위해 Default Policy:가 프리픽스로 추가되지만 서비스에서는 라벨을 기본 식별자로 사용합니다.
고객은 기본 정책 모음의 모든 정책에 자동으로 등록됩니다. 필요한 경우 Cloud Monitoring 알림에서 특정 기본 정책을 사용 중지할 수 있습니다.
| 정책 이름 | 기본 측정항목 | 기본 기준 | 근거 |
|---|---|---|---|
| 기본 정책: 예상 백로그 | job/estimated_backlog_processing_time |
30분 | 현재 백로그를 지우는 데 필요한 시간을 추정합니다. 백로그가 30분을 초과하면 작업이 진행되지 않는 것입니다. |
| 기본 정책: vCPU 증가 정책 | job/current_num_vcpus |
1시간 평균 vCPU 사용량이 7일 평균에 비해 5배 이상 증가 | vCPU 수의 상대적 변화를 모니터링하여 예상치 못한 작업 비용을 측정하는 데 도움이 됩니다. |
정책 수명 주기
- 베타 정책: 이 정책은 이름에
BETA프리픽스가 있으며 기준이 조정됨에 따라 변경되거나 삭제될 수 있습니다. - 정식 버전 정책: 정책이 안정적인 것으로 간주되면
BETA프리픽스가 삭제됩니다.
알림 맞춤설정 및 관리
턴키 알림은 시작점 역할을 합니다. 특정 비즈니스 요구사항에 맞게 맞춤설정하는 것이 좋습니다.
- Google Cloud 콘솔에서 Cloud Monitoring > 알림으로 이동합니다.
- 정책을 찾습니다(예: 기본 정책: 예상 백로그).
- 기준점을 원하는 값으로 수정합니다.
커스텀 정책 만들기
goog-turnkey-alerts 라벨을 추가하여 모든 Cloud Monitoring 알림 정책을 턴키 알림 제품군에 추가할 수 있습니다. 이를 통해 기본 제품군과 함께 비즈니스별 맞춤 규칙을 관리할 수 있습니다.
알림 정책 사용 중지 또는 삭제
Monitoring을 사용하여 특정 기본 정책을 사용 중지하거나 삭제할 수 있습니다. 정책을 사용 중지하면 Monitoring에서 정책 조건 평가를 중지하고 새 이슈가 생성되지 않지만 정책 구성은 유지됩니다. 정책을 삭제하면 프로젝트에서 영구적으로 삭제됩니다. 정책 수명 주기 관리에 대한 자세한 내용은 알림 정책 관리 및 사용 중지된 알림 정책을 참조하세요.
문제 해결
| 문제 | 해결 방법 |
|---|---|
| PERMISSION_DENIED | Dataflow P4SA에 기본 요건에 나열된 필수 monitoring.alertPolicies.* 권한이 있는지 확인합니다. P4SA에 이러한 역할이 없으면 파이프라인이 계속 성공적으로 실행되지만 명령줄 출력과 작업 로그에 기본 알림을 만들 수 없음을 나타내는 PERMISSION_DENIED 오류가 표시됩니다. |
| 알림을 받지 못함 | 사고를 확인하여 알림 조건이 충족되었는지 확인합니다. Monitoring에서 알림 실행 및 사고 타임라인을 볼 수 있습니다(사고 및 이벤트 보기 참고). |
| 중복 정책 | 이는 일반적으로 여러 정책이 goog-turnkey-alerts 라벨과 동일한 측정항목 구성을 공유하는 경우에 발생합니다. Dataflow는 정확한 이름 일치가 아닌 중복되는 라벨과 측정항목을 확인합니다. 정책을 검토하고 중복 구성에서 라벨을 삭제하세요. |