借助 Google Distributed Cloud (GDC) 网闸隔离设备中的日志查询功能,您可以在收集日志后检查项目工作负载中的操作和审核事件。您可以使用日志查询语言 (LogQL) 表达式在 Grafana 日志面板中过滤、直观呈现和导出日志流。对于程序化工作流,请按照标准 API 访问方法,通过 HTTP 或 gRPC 查询组织的 Log Query API。
准备工作
如需获得在 Grafana 界面上查询和直观呈现日志所需的权限,请让您的组织 IAM 管理员或项目 IAM 管理员为您授予预定义的 Organization Grafana Viewer 或 Project Grafana Viewer 角色之一。根据您需要的访问权限和权限级别,您可能会在组织或项目中获得 Grafana 角色。
或者,如需获取通过 Log Query API 查询日志所需的权限,请让您的 Project IAM Admin 为您授予项目命名空间中的 Log Query API Querier 角色。
如需详细了解这些角色,请参阅准备 IAM 权限。
为日志构建查询
通过系统监控实例的界面查询日志,您可以选择数据源,以便从项目中检索操作日志,并获得查询的集成视图。如需过滤结果,请使用查询语言表达式按标签搜索日志。例如,您可以将查询中的 cluster 和 namespace 标签分别设置为标识集群和项目命名空间的值。
系统监控实例端点
对于应用运维人员 (AO)
以下网址是项目的监控实例的端点:
https://GDC_URL/PROJECT_NAMESPACE/grafana
替换以下内容:
- GDC_URL:GDC 中组织的网址。
- PROJECT_NAMESPACE:项目的命名空间。
对于平台管理员 (PA)
以下网址是项目的监控实例的端点:
https://GDC_URL/platform-obs/grafana
将 GDC_URL 替换为您的组织在 GDC 中的网址。
查询和过滤日志
选择以下方法之一,以构建查询并过滤项目工作负载中的日志:
本部分介绍如何使用 Grafana 中的“日志”面板访问日志。
确定 Grafana 端点
对于应用运维人员 (AO)
以下网址是项目的监控实例的端点:
https://GDC_URL/PROJECT_NAMESPACE/grafana
替换以下内容:
- GDC_URL:GDC 中组织的网址。
- PROJECT_NAMESPACE:项目的命名空间。
对于平台管理员 (PA)
以下网址是项目的监控实例的端点:
https://GDC_URL/platform-obs/grafana
将 GDC_URL 替换为您的组织在 GDC 中的网址。
在 Grafana 界面中查看日志
在 Grafana 界面中查询日志:
- 在 GDC 控制台中,选择您的项目。
- 在导航菜单中,依次选择运维 > Logging。
- 点击在 Grafana Loki 中查看全部。
系统会打开一个新页面,其中显示您的 Grafana 端点和用户界面。
- 在界面上,点击导航菜单中的探索 探索,打开探索页面。
- 在探索栏的菜单中,根据您的 Universe 类型选择一个数据源来检索日志:
单可用区 Universe:选择以下数据源之一,以显示 Universe 的单个可用区中的日志记录数据:
运维日志:显示运维日志。
审核日志:显示审核日志。
运维日志 ZONE_NAME:显示特定可用区的运维日志。
审核日志 ZONE_NAME:显示特定可用区的审核日志。
此外,如需在单个信息中心内实现跨可用区数据可视化,并向查询添加多个可用区,请选择混合作为数据源。
使用 LogQL(日志查询语言)表达式输入查询,以便在“日志”面板中搜索日志。您可以通过以下任一方式执行此步骤:
- 使用交互式查询构建器界面。然后,点击运行查询。
- 直接在文本字段中输入查询,然后按 Shift+Enter 运行查询。
该页面会显示与您的查询匹配的日志。查询日志后,您可以将其导出。点击导出,以纯文本或 CSV 格式下载日志。您还可以为日志选择时间范围。

图 1. 用于从 Grafana 界面查询审核日志的菜单选项。
在图 1 中,审核日志选项会显示一个界面,您可以通过该界面从 Grafana 构建查询来检索审核日志。
如需查看用于查询不同日志的标签和值示例,请参阅示例查询和标签。
为日志选择时间范围
如需查询某个时间范围内的日志,请按以下步骤操作:
点击 Grafana 中的 时间选择器菜单。
从菜单中,执行以下操作之一:
- 选择相对时间范围选项,例如过去 30 分钟。
- 通过从日历中选择特定日期和时间,然后点击应用时间范围,设置自定义绝对时间范围。
(可选)点击更改时间设置,通过时间范围控件更改时区和财年设置。
时间设置会按信息中心保存。如需详细了解一段时间内的查询,请参阅 https://grafana.com/docs/loki/latest/reference/api/#query-loki-over-a-range-of-time。
发送查询
使用 HTTP 或 gRPC 客户端向 Log Query API 端点发送查询。
HTTP
按照说明使用 HTTP 客户端直接访问 API。 您可以依靠
kubectl来管理身份验证,也可以自行处理身份验证。使用
curl、wget等 HTTP 客户端或您创建和管理的 HTTP 客户端查询 Log Query API。以下示例使用curl工具查询 API,您可以对wget命令使用类似的格式:对 cURL 请求进行身份验证:
- 下载并安装 gdcloud CLI。
设置 gdcloud
core/organization_console_url属性:gdcloud config set core/organization_console_url https://GDC_URL将
GDC_URL替换为 GDC 中组织的网址。-
gdcloud auth login 使用您的用户名和密码进行身份验证并登录。
将指定账号的身份令牌导出到环境变量:
export TOKEN="$($HOME/gdcloud auth print-identity-token --audiences=https://LOG_QUERY_API_ENDPOINT)"将
LOG_QUERY_API_ENDPOINT替换为您要从中查询日志的日志查询 API 端点以及您要连接到的网域。因此,audiences标志的值可以是https://operational-log-query-api.org-1.zone1.google.gdch.test。登录成功后,您可以通过
gdcloud auth print-identity-token命令在 cURL 请求中使用授权标头。如需了解详情,请参阅 gdcloud auth print-identity-token。
如果您想列出项目的所有标签,请发送以下查询:
curl -H "Authorization: Bearer ${TOKEN}" \ https://LOG_QUERY_API_ENDPOINT/v1/projects/PROJECT_NAMESPACE/labels \ -H "Content-Type: application/json" -v替换以下内容:
LOG_QUERY_API_ENDPOINT:您要从中查询日志的日志查询 API 端点。PROJECT_NAMESPACE:您的项目命名空间。
如果您想列出项目的特定标签值,请发送以下查询:
curl -H "Authorization: Bearer ${TOKEN}" \ https://LOG_QUERY_API_ENDPOINT/v1/projects/PROJECT_NAMESPACE/labels/labels/LABEL/values \ -H "Content-Type: application/json" -v替换以下内容:
LOG_QUERY_API_ENDPOINT:您要从中查询日志的日志查询 API 端点。PROJECT_NAMESPACE:您的项目命名空间。LABEL:您要查询其值的特定标签。
如果您想查询特定项目的日志,请构建
logs_filter查询并将其添加到请求正文中:curl -X GET -H "Authorization: Bearer ${TOKEN}" \ https://LOG_QUERY_API_ENDPOINT/v1/projects/PROJECT_NAMESPACE/logs \ -H "Content-Type: application/json" -d \ '{"logs_filter": {"labels_equal": {"LABEL": "LABEL_VALUE"}}}' -v替换以下内容:
LOG_QUERY_API_ENDPOINT:您要从中查询日志的日志查询 API 端点。PROJECT_NAMESPACE:您的项目命名空间。LABEL:您要查询其日志的特定标签。LABEL_VALUE:要查询其日志的标签值。
请参阅 API 文档,了解构建
logs_filter查询的所有选项。
gRPC
gRPC 在各种编程语言中都得到了广泛支持,与 HTTP 客户端相比,它提供了更高效的通信方法。
如需使用 gRPC 查询日志,您必须满足以下前提条件:
- 基于 Google 提供的协议缓冲区创建您自己的客户端库。
- 在客户端中实现身份验证。
- 实现重试。
如需了解协议缓冲区,请参阅 API 文档。
以下示例展示了如何使用未经身份验证的 gRPC 客户端从 Go 程序查询日志。该示例假设您创建了一个 golang 软件包,其中包含用于导入代码依赖项的 Bazel build 文件:
将以下代码保存到名为
client.go的 Go 程序中:package main import ( "context" "crypto/tls" "flag" "fmt" "google.golang.org/grpc/credentials" "google.golang.org/grpc/metadata" pb "<import path to generated log query api protos>/pkg/apis/public/logging/v1/proto" "google.golang.org/grpc" ) var serverAddr = flag.String("server", "localhost:8080", "server address") func main() { flag.Parse() tc := credentials.NewTLS(&tls.Config{InsecureSkipVerify: true}) conn, err := grpc.Dial(*serverAddr, grpc.WithTransportCredentials(tc)) if err != nil { panic(error.Error(fmt.Errorf("create client connection failed: %v", err))) } defer conn.Close() c := pb.NewLogsClient(conn) md := metadata.Pairs("clienttest", "test") ctx := metadata.NewOutgoingContext(context.Background(), md) err = listLabels(ctx, c, "project-foo") if err != nil { panic(error.Error(err)) } if err := listLabelValues(ctx, c, "project-foo", "resource-bar"); err != nil { panic(error.Error(err)) } if err := listLogs(ctx, c, "project-foo", &pb.ListLogsFilter{ LabelsEqual: map[string]string{"resource-bar": "resource-bar-value"}, OrderAscending: true, }); err != nil { panic(error.Error(err)) } } // List all labels for a project. func listLabels(ctx context.Context, c pb.LogsClient, project string) error { lbr := &pb.ListLabelsRequest{ Parent: project, PageSize: 1000, // PageSize can be configured to limit the number of responses per page. } resp, err := c.ListLabels(ctx, lbr) if err != nil { return fmt.Errorf("list labels: %v", err) } fmt.Printf("%v", resp) return nil } // List specific label values for a project. func listLabelValues(ctx context.Context, c pb.LogsClient, project string, label string) error { lbr := &pb.ListLabelValuesRequest{ Parent: project, Label: label, PageSize: 1000, // PageSize can be configured to limit the number of responses per page. } resp, err := c.ListLabelValues(ctx, lbr) if err != nil { return fmt.Errorf("list label values: %v", err) } fmt.Printf("%v", resp) return nil } // List logs for a specific project. func listLogs(ctx context.Context, c pb.LogsClient, project string, lf *pb.ListLogsFilter) error { lbr := &pb.ListLogsRequest{ Parent: project, LogsFilter: lf, PageSize: 5, // PageSize can be configured to limit the number of responses per page. } resp, err := c.ListLogs(ctx, lbr) if err != nil { return fmt.Errorf("list logs: %v", err) } fmt.Printf("logs: %v", resp) return nil }运行 Go 程序:
go run PATH_TO_API/client.go -server=LOG_QUERY_API_ENDPOINT:443替换以下内容:
PATH_TO_API:API 文件的路径。LOG_QUERY_API_ENDPOINT:您要从中查询日志的日志查询 API 端点。
如果未指定服务器标志,则默认请求会发送到
localhost。
示例查询和标签
以下是可用于查询日志的一些默认标签:
cluster:集群的名称。namespace:您的项目命名空间。node:节点名称。pod:Pod 名称。container:容器名称。
以下代码示例展示了如何使用标签和值来查询不同的日志:
选择服务器日志:
{cluster="admin", namespace="kube-system", resources="k8s_container", container="kube-apiserver"}选择集群审核日志:
{cluster="admin", resources="k8s_audit"}