借助 Google Distributed Cloud (GDC) 网闸隔离设备中的提醒监控功能,您可以在创建提醒规则后,跟踪和排查整个项目中的有效通知。您可以在 GDC 控制台中检查提醒严重级别、时长、状态和标签。对于脚本、cron 作业和自定义集成,请使用 curl 查询项目的 Cortex Alertmanager HTTP 端点。
准备工作
如需获得查询和直观呈现提醒所需的权限,请让您的 Project IAM Admin 为您授予项目命名空间中的某个关联 Project Cortex Alertmanager 角色。根据您需要的访问权限和权限级别,您可能会在项目中获得此资源的 Editor 或 Viewer 角色。
如需获得导出日志所需的权限,请让您的 Project IAM Admin 为您授予 Project Grafana Viewer (project-grafana-viewer) 角色。通过这种基于角色的访问权限控制流程,您可以安全地访问数据可视化图表。如需详细了解这些角色,请参阅准备 IAM 权限。
下表总结了 PA and AO persona 的 Role 要求。
| 角色 | 对象 | 集群 | 角色 | 命名空间 | 群组/用户 | 配置 |
|---|---|---|---|---|---|---|
| PA | alertmanager | org-admin | project-cortex-alertmanager-viewer |
platform-obs | 群组 | 1 |
| PA | alertmanager | org-admin | project-cortex-alertmanager-viewer |
platform-obs | 用户 | 2 |
| AO | alertmanager | org-admin | project-cortex-alertmanager-viewer |
PROJECT_NAMESPACE | 群组 | 1 |
| AO | alertmanager | org-admin | project-cortex-alertmanager-viewer |
PROJECT_NAMESPACE | 用户 | 2 |
请酌情替换以下变量:
| 变量 | 说明 |
|---|---|
KUBECONFIG |
您需要特定集群的 kubeconfig,该集群包含将应用此 RoleBinding 的 NAMESPACE。 |
RULE_NAME |
此 RoleBinding 资源在命名空间中的唯一名称。例如 pa-cortex-alertmanager-viewer。 |
NAMESPACE |
将在其中创建并应用此 RoleBinding 的 Kubernetes 命名空间。请查看上表中的 Namespace 列。 |
EMAIL_ADDRESS |
被授予角色的用户的标识符。这通常是邮箱。例如 platform-administrator@example.com。 |
ROLE |
Role 的名称,其中包含您要授予用户的权限。在上表中查找可用角色 |
GROUP_NAME |
PA/AO 用户所属的 Group 的名称。例如 pa-group。 |
ZONE |
区域名称 |
配置 1
此配置会向用户群组授予访问 org 集群中的 PA/AO 提醒的权限。完成此配置后,请参阅本文档的控制台部分,在 GDC 控制台中查看提醒。
Kubectl 命令
以下是通用命令格式:
kubectl --kubeconfig `KUBECONFIG` create rolebinding `RULE_NAME` -n `NAMESPACE` --group=`GROUP_NAME` --role=project-cortex-alertmanager-viewer示例:
kubectl --kubeconfig <path-to-kubeconfig> create rolebinding project-cortex-alertmanager-viewer-binding --role=project-cortex-alertmanager-viewer --group=my-team --namespace=platform-obsYaml 文件
apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: RULE_NAME namespace: NAMESPACE subjects: - kind: Group name: GROUP_NAME apiGroup: rbac.authorization.k8s.io roleRef: kind: Role name: project-cortex-alertmanager-viewer apiGroup: rbac.authorization.k8s.io
配置 2
此配置会向用户授予访问 org 集群中的 PA/AO 提醒的权限。完成此配置后,请参阅本文档的控制台部分,在 GDC 控制台中查看提醒。
Kubectl 命令
以下是通用命令格式:
kubectl --kubeconfig `KUBECONFIG` create rolebinding `RULE_NAME` -n `NAMESPACE` --user=`EMAIL_ADDRESS` --role=project-cortex-alertmanager-viewer示例:
kubectl --kubeconfig <path-to-kubeconfig> create rolebinding project-cortex-alertmanager-viewer-binding --role=project-cortex-alertmanager-viewer --user=my-email@example.com --namespace=platform-obsIAC 文件路径
/infrastructure/zonal/zones/`ZONE`/org-admin/rolebindings/`EMAIL_ADDRESS`/<YAML_FILE>Yaml 文件
apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: RULE_NAME namespace: NAMESPACE subjects: - kind: User name: EMAIL_ADDRESS apiGroup: rbac.authorization.k8s.io roleRef: kind: Role name: project-cortex-alertmanager-viewer apiGroup: rbac.authorization.k8s.io如需详细了解这些角色,请参阅准备 IAM 权限
Grafana 端点
对于应用操作员 (AO):
打开以下网址,访问项目的端点:
https://GDC_URL/PROJECT_NAMESPACE/grafana
替换以下内容:
- GDC_URL:GDC 中组织的网址。
- PROJECT_NAMESPACE:项目的命名空间。
该项目的界面包含默认信息中心,例如提醒 - 概览信息中心,其中包含有关提醒的信息。通过界面查询提醒,您可以直观地检索项目中的提醒信息,并获得资源的集成视图,以便了解和快速解决问题。
对于平台管理员 (PA):
打开以下网址,访问 platform-obs 项目的端点:
https://GDC_URL/platform-obs/grafana
将 GDC_URL 替换为您的组织在 GDC 中的网址。
系统监控实例的界面 (UI) 包含默认信息中心,例如提醒 - 概览信息中心,其中包含有关数据可观测性提醒的信息。通过界面查询提醒,您可以直观地检索项目中的提醒信息,并获得资源的集成视图,以便了解和快速解决问题。

图 1. Grafana 界面上的提醒 - 概览信息中心。
查看和过滤未解决的提醒
选择以下方法之一,从项目命名空间查询和过滤未解决的提醒:
控制台
通过 GDC 控制台查看项目中的未处理提醒:
- 登录 GDC 控制台。
- 在 GDC 控制台中,选择您的项目。
- 在导航菜单中,依次选择运维 > 提醒。
- 选择提醒标签页。
- 查看提醒列表。
- 在已打开的提醒部分,点击过滤条件以仅显示打开的提醒。您还可以按其他属性名称或值过滤提醒。
- 点击提醒名称即可查看提醒详情。
Cortex 端点
本部分介绍如何使用 Cortex Alertmanager 端点访问提醒。
确定 Cortex 端点
以下网址是项目的 Cortex 实例的端点:
https://GDC_URL/PROJECT_NAMESPACE/cortex/alertmanager/
替换以下内容:
GDC_URL:GDC 中组织的网址。PROJECT_NAMESPACE:您的项目命名空间。例如,
org-1组织中platform-obs项目的 Cortex 端点为https://org-1/platform-obs/cortex/alertmanager/。
对 curl 请求进行身份验证
- 下载并安装 gdcloud CLI。
设置 gdcloud
core/organization_console_url属性:gdcloud config set core/organization_console_url https://GDC_URL-
gdcloud auth login 使用您的用户名和密码进行身份验证并登录。
登录成功后,您可以通过
gdcloud auth print-identity-token命令在 cURL 请求中使用授权标头。如需了解详情,请参阅 gdcloud auth。
调用 Cortex 端点
完成以下步骤,以使用 curl 工具访问 Cortex 端点:
- 对
curl请求进行身份验证。 使用
curl调用 Cortex 端点,并使用标准 Alertmanager API 规范 (https://prometheus.io/docs/prometheus/latest/querying/api/#alertmanagers) 扩展网址以查询提醒。以下是
curl请求的示例:curl https://GDC_URL/PROJECT_NAME/cortex/alertmanager/api/v1/alertmanagers \ -H "Authorization: Bearer $(gdcloud auth print-identity-token \ --audiences=https://GDC_URL)"您会获得命令后面的输出。API 响应采用 JSON 格式。
Alertmanager
借助 Alertmanager,您可以监控来自客户端应用的提醒通知。您可以使用 Alertmanager 检查和静默提醒,以及过滤或分组提醒:

图 2. 用于从 Alertmanager 查询审核日志的菜单选项。
预定义的提醒政策
下表列出了 Prometheus 中预安装的提醒规则:
| 名称 | 说明 |
|---|---|
| KubeAPIDown(严重) | KubeAPI 已从 Prometheus 目标发现中消失 15 分钟。 |
| KubeClientErrors(警告) | Kubernetes API 服务器客户端错误率 > 0.01,持续 15 分钟。 |
| KubeClientErrors(严重) | Kubernetes API 服务器客户端错误率 > 0.1,持续 15 分钟。 |
| KubePodCrashLooping(警告) | Pod 处于崩溃循环状态的时间超过 15 分钟。 |
| KubePodNotReady(警告) | Pod 处于尚未就绪状态超过 15 分钟。 |
| KubePersistentVolumeFillingUp(严重) | 已声明的 PersistentVolume 的可用字节数 < 0.03。 |
| KubePersistentVolumeFillingUp(警告) | 已声明的 PersistentVolume 的可用字节数 < 0.15。 |
| KubePersistentVolumeErrors(严重) | 永久性卷处于“失败”或“待处理”阶段的时间达到 5 分钟。 |
| KubeNodeNotReady(警告) | 节点处于尚未就绪状态超过 15 分钟。 |
| KubeNodeCPUUsageHigh(关键) | 节点 CPU 使用率 > 80%。 |
| KubeNodeMemoryUsageHigh(关键) | 节点内存用量超过 80%。 |
| NodeFilesystemSpaceFillingUp(警告) | 节点文件系统使用率 > 60%。 |
| NodeFilesystemSpaceFillingUp(严重) | 节点文件系统使用率 > 85%。 |
| CertManagerCertExpirySoon(警告) | 证书将于 21 天后过期。 |
| CertManagerCertNotReady(严重) | 证书在 10 分钟后仍未准备好处理流量。 |
| CertManagerHittingRateLimits(严重) | 创建和续订证书的速率限制已达到 5 分钟。 |
| DeploymentNotReady(严重)。 | 组织管理员集群上的 Deployment 处于未就绪状态的时间超过 15 分钟。 |
示例 alertmanagerConfigurationConfigmaps
alertmanagerConfigurationConfigmaps 列出的 ConfigMap 中的配置语法必须遵循 https://prometheus.io/docs/alerting/latest/configuration/
apiVersion: observability.gdc.goog/v1alpha1
kind: ObservabilityPipeline
metadata:
# Choose namespace that matches the project's namespace
namespace: kube-system
name: observability-config
# Configure Alertmanager
alerting:
# Storage size for alerting data within organization
# Permission: PA
localStorageSize: 1Gi
# Permission: PA & AO
# alertmanager config must be under the key "alertmanager.yml" in the configMap
alertmanagerConfig: <configmap-for-alertmanager-config>
# Permission: PA
volumes:
- <volume referenced in volumeMounts>
# Permission: PA
volumeMounts:
- <volumeMount referenced in alertmanagerConfig>
示例规则配置
# Configures either an alert or a target record for precomputation
apiVersion: monitoring.gdc.goog/v1alpha1
kind: MonitoringRule
metadata:
# Choose namespace that contains the metrics that rules are based on
# Note: alert/record will be produced in the same namespace
namespace: g-fleetns-a
name: alerting-config
spec:
# Rule evaluation interval
interval: <duration>
# Configure limit for number of alerts (0: no limit)
# Optional, Default: 0 (no limit)
limit: <int>
# Configure record rules
recordRules:
# Define which timeseries to write to (must be a valid metric name)
- record: <string>
# Define PromQL expression to evaluate for this rule
expr: <string>
# Define labels to add or overwrite
# Optional, Map of {key, value} pairs
labels:
<labelname>: <labelvalue>
# Configure alert rules
alertRules:
# Define alert name
- alert: <string>
# Define PromQL expression to evaluate for this rule
# https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/
expr: <string>
# Define when an active alert moves from pending to firing
# Optional, Default: 0s
for: <duration>
# Define labels to add or overwrite
# Required, Map of {key, value} pairs
# Required labels:
# severity: [error, critical, warning, info]
# code:
# resource: component/service/hardware related to alert
# additional labels are optional
labels:
severity: <enum: [error, critical, warning, info]>
code:
resource: <Short name of the related operable component>
<labelname>: <tmpl_string>
# Define annotations to add
# Optional, Map of {key, value} pairs
# Recommended annotations:
# message: value of Message field in UI
# expression: value of Rule field in UI
# runbookurl: URL for link in Actions to take field in UI
annotations:
<labelname>: <tmpl_string>
# Configures either an alert or a target record for precomputation
apiVersion: logging.gdc.goog/v1alpha1
kind: LoggingRule
metadata:
# Choose namespace that contains the logs that rules are based on
# Note: alert/record will be produced in the same namespace
namespace: g-fleetns-a
name: alerting-config
spec:
# Choose which log source to base alerts on (Operational/Audit/Security Logs)
# Optional, Default: Operational
source: <string>
# Rule evaluation interval
interval: <duration>
# Configure limit for number of alerts (0: no limit)
# Optional, Default: 0 (no limit)
limit: <int>
# Configure record rules
recordRules:
# Define which timeseries to write to (must be a valid metric name)
- record: <string>
# Define LogQL expression to evaluate for this rule
# https://grafana.com/docs/loki/latest/rules/
expr: <string>
# Define labels to add or overwrite
# Optional, Map of {key, value} pairs
labels:
<labelname>: <labelvalue>
# Configure alert rules
alertRules:
# Define alert name
- alert: <string>
# Define LogQL expression to evaluate for this rule
expr: <string>
# Define when an active alert moves from pending to firing
# Optional, Default: 0s
for: <duration>
# Define labels to add or overwrite
# Required, Map of {key, value} pairs
# Required labels:
# severity: [error, critical, warning, info]
# code:
# resource: component/service/hardware related to alert
# additional labels are optional
labels:
severity: <enum: [error, critical, warning, info]>
code:
resource: <Short name of the related operable component>
<labelname>: <tmpl_string>
# Define annotations to add
# Optional, Map of {key, value} pairs
# Recommended annotations:
# message: value of Message field in UI
# expression: value of Rule field in UI
# runbookurl: URL for link in Actions to take field in UI
annotations:
<labelname>: <tmpl_string>
通过 HTTP API 查询提醒
可观测性平台公开了一个 HTTP API 端点,用于查询和读取项目中的指标、提醒和其他时序数据,以进行系统监控。直接通过 Observability HTTP API 查询提醒,以便根据您的应用场景设置自动化任务、调整响应并构建集成。例如,将输出插入到另一个命令中、将详细信息导出为文本文件格式,或配置 Linux cron 作业。您可以通过命令行界面 (CLI) 或网络浏览器调用 Observability HTTP API,并以 JSON 格式获取结果。
本部分介绍了如何使用API 规范从 CLI 调用 Observability HTTP API 端点,以查询提醒。
直接通过 Observability HTTP API 查询提醒,以便根据您的应用场景设置自动化任务、调整响应并构建集成。例如,将输出插入到另一个命令中、将详细信息导出为文本文件格式,或配置 Linux cron 作业。您可以通过命令行界面 (CLI) 或网络浏览器调用 Observability HTTP API,并以 JSON 格式获取结果。
本部分介绍了如何使用 Alertmanager API 规范从 CLI 调用 Observability HTTP API 端点,以查询指标。
准备工作
如需获得访问可观测性 HTTP API 端点所需的权限,请让您的项目 IAM 管理员在您的项目命名空间中为您授予 Project Cortex Alertmanager Viewer (project-cortex-alertmanager-viewer) 角色。
Project IAM Admin 可以通过创建角色绑定来授予您访问权限:
a. Infrastructure Operator (IO) Root-Admin - Project Cortex Alertmanager Viewer:
kubectl --kubeconfig $HOME/root-admin-kubeconfig create rolebinding
io-cortex-alertmanager-viewer-binding -n infra-obs
--user=fop-infrastructure-operator@example.com
--role=project-cortex-alertmanager-viewer
b. 平台管理员 (PA) 根管理员 - Project Cortex Alertmanager Viewer:
kubectl --kubeconfig $HOME/root-admin-kubeconfig create rolebinding
pa-cortex-alertmanager-viewer-binding -n platform-obs
--user=fop-platform-admin@example.com
--role=project-cortex-alertmanager-viewer
c. Application Operator (AO) Root-Admin - Project Cortex Alertmanager Viewer: Project: $AO_PROJECT AO User Name: $AO_USER
kubectl --kubeconfig $HOME/root-admin-kubeconfig create rolebinding
project-cortex-alertmanager-viewer-binding -n $AO_PROJECT
--user=$AO_USER
--role=project-cortex-alertmanager-viewer
创建角色绑定后,您可以使用登录用户名访问相应的 Alertmanager。
验证角色绑定
kubectl --kubeconfig $HOME/org-1-admin-kubeconfig get rolebinding -n platform-obs
如需了解如何通过 GDC 控制台设置角色绑定,请参阅授予对资源的访问权限。
Cortex 端点
以下网址是用于访问提醒的 Cortex 端点:
https://GDC_URL/PROJECT_NAME/cortex/alertmanager/
替换以下内容:
- GDC_URL:GDC 中组织的网址。
- PROJECT_NAME:您的项目的名称。
调用 API 端点
请按照以下步骤从 CLI 访问 Cortex API 端点并查询提醒:
- 确保您满足前提条件。
- 打开 CLI。
使用
curl工具调用 Cortex 端点网址,并使用标准 https://prometheus.io/docs/prometheus/latest/querying/api/#alertmanagers 扩展网址以查询提醒。例如:curl https://console.org-1.zone1.google.gdch.test/alice/cortex/alertmanager/api/v1/alertmanagers
您会在 CLI 中看到命令的输出。API 响应格式为 JSON。