使用流日志将网络流量元数据(包括 5 元组)以可查询日志的形式保存到 Google Distributed Cloud (GDC) 气隙环境中的可观测性堆栈。使用这些日志可以:
- 了解组织中特定服务的流量。
- 了解并识别 Kubernetes 工作负载的网络健康问题。
- 验证 Kubernetes 网络政策。
流日志是一项 GDC 功能,基于开源
Hubble 项目:https://github.com/cilium/hubble。使用
FlowLog
来自
Networking API的资源配置流日志。
准备工作
您必须获得授权才能从 GDC 控制台中管理或查看流日志。 如需管理流日志,请让组织 IAM 管理员向您授予 Flow Log Admin (
flowlog-admin) 角色。 如需仅查看现有流日志,请让组织 IAM 管理员向您授予 Flow Log Viewer (flowlog-viewer) 角色。如需了解如何从 GDC 控制台中设置角色绑定,请参阅授予对资源的访问权限。
在信息中心内查询和查看流日志之前,您必须获得对监控实例的访问权限。如需了解详情,请参阅查询和查看指标。
创建流日志
创建流日志以保存按给定的一组规范过滤的网络流量元数据。
使用协议和命名空间过滤条件创建流日志
创建一个名为
example-flowlog.yaml且包含以下内容的文件:apiVersion: networking.gdc.goog/v1 kind: FlowLog metadata: name: "FLOW_LOG_NAME" namespace: "platform" spec: filters: - l4Protocols: - tcp source: namespacePodSelectors: - namespace: gpc-system - namespace: kube-system destination: namespacePodSelectors: - namespace: kube-system lifetime: duration: "1h"将
FLOW_LOG_NAME替换为为流日志选择的名称。在此示例中,流日志会捕获所有流,其中 TCP 连接由
gpc-system或kube-system命名空间中的任何 pod 启动,并连接到kube-system命名空间中的任何 pod。它会在对象创建后一小时停止记录日志。创建流日志对象:
kubectl --kubeconfig MANAGEMENT_API_SERVER apply -f example-flowlog.yaml将
MANAGEMENT_API_SERVER替换为区域 Management API 服务器的 kubeconfig 路径。通过检查
Status字段,验证FLOW_LOG_NAME值是否已正确协调,以及日志记录进程是否已启动:kubectl --kubeconfig MANAGEMENT_API_SERVER describe -n platform FLOW_LOG_NAME状态示例:
Status: Clusters: Cluster: org-1-infra-cluster Conditions: Last Transition Time: 2024-01-19T01:46:11Z Message: Observed Generation: 1 Reason: ResourcesPropagated Status: True Type: Propagated Name: cilium-flowlog-config Namespace: kube-system Node: org-1-infra Cluster: user-vm-1-cluster Conditions: Last Transition Time: 2024-01-19T01:46:11Z Message: Observed Generation: 1 Reason: ResourcesPropagated Status: True Type: Propagated Name: cilium-flowlog-config Namespace: kube-system Node: user-vm-1 Cluster: user-vm-2-cluster Conditions: Last Transition Time: 2024-01-19T01:46:11Z Message: Observed Generation: 1 Reason: ResourcesPropagated Status: True Type: Propagated Name: cilium-flowlog-config Namespace: kube-system Node: user-vm-2 Conditions: Last Transition Time: 2024-01-18T19:17:53Z Message: Observed Generation: 1 Reason: Active Status: True Type: Logging Last Transition Time: 2024-01-19T01:46:11Z Message: Observed Generation: 1 Reason: ResourcesPropagated Status: True Type: Propagated Last Transition Time: 2024-01-18T19:17:53Z Message: Observed Generation: 1 Reason: Succeeded Status: True Type: Reconciled Start Time: 2024-01-18T19:17:53Z End Time: 2024-01-18T20:17:53Z此示例输出包含以下条件:
Propagated:流日志配置已发送到集群user-vm-1、user-vm-2和org-1-infra。Reconciled:流日志已在集群user-vm-1、user-vm-2和org-1-infra上成功编程。Logging:流日志未过期或停用,未遇到任何错误,并且如果过滤条件与流匹配,则可能会生成日志。Start Time和End Time表示作业在19:17:53启动,并在20:17:53过期。
为了使此流日志能够成功生成日志条目,所有
Propagated、Reconciled和Logging条件都必须为 true。
修改流日志
如需修改现有流日志,请修改 example-flowlog.yaml 文件中创建的流日志对象定义,然后再次应用:
kubectl --kubeconfig MANAGEMENT_API_SERVER apply -f example-flowlog.yaml
在监控信息中心内查看流日志
打开运维日志信息中心。如需了解详情, 请参阅查询运维日志。
将标识符 下拉菜单值设置为
network-flow-logs,然后点击 add json parser,并向查询提供以下值:{identifier="network-flow-logs"} | json:
点击运行查询 。这会显示已保存的流日志条目:

使用过滤条件进一步优化结果。 例如,为 cluster 下拉菜单提供值
user-vm-1,以仅查看从user-vm-1集群收集的流:
浏览流日志条目,展开条目以查看详细信息,并根据需要使用快捷方式图标添加更多标签过滤条件。 在此示例中,我们希望按来源 IP 地址进一步过滤流:

点击
+快捷方式图标,按特定元数据字段过滤流。
按流日志名称查看结果
创建多个流日志后,您可以创建额外的标签过滤条件,以查看一个或多个流日志的结果。
如需查看仅限于 FLOW_LOG_NAME 生成的日志的结果,请使用以下值创建标签过滤条件:
Label设置为On。此值区分大小写。Operator设置为~=。这会使用正则表达式匹配器。Value设置为/FLOW_LOG_NAME/。FLOW_LOG_NAME值必须用/包裹。
过滤结果以仅查看 flowlog1 生成的日志:

参考
- Hubble Dynamic Exporter 文档:https://docs.cilium.io/en/latest/observability/hubble-exporter/#dynamic-exporter-configuration