在运行数据流水线时,维护安全的环境并满足合规要求是至关重要的挑战。Dataflow 通过自动强化和保护运行工作器的虚拟机 (VM) 来解决这些问题,从而在无需手动操作的情况下帮助保护您的数据并最大限度地降低安全风险。
Dataflow 工作器虚拟机的操作系统
Dataflow 工作器虚拟机在由 Google 维护的安全强化型 Container-Optimized OS 上运行。 Container-Optimized OS 由 Google 设计和优化,可在Google Cloud上安全高效地运行容器化工作负载。
Dataflow 使用 Container-Optimized OS 作为 Dataflow 工作器虚拟机的基础,因为该操作系统具有以下安全优势:
- 最小的攻击面:Container-Optimized OS 包含运行容器所需的最少软件包。与通用操作系统相比,这可以减少潜在的攻击面。
- 以安全性为中心的设计:Container-Optimized OS 的构建以安全性为核心原则。它具有只读文件系统(必要的写入路径除外)、锁定防火墙和其他默认安全配置。
- 定期安全更新:Google 的安全团队会持续监控漏洞,并及时为 Container-Optimized OS 映像提供补丁和更新。Dataflow 会将这些更新集成到其虚拟机映像中。
- 托管式环境:作为一项全代管式服务,Dataflow 会管理工作器虚拟机操作系统的整个生命周期。这有助于确保所有工作器虚拟机的一致性、可靠性,并应用安全最佳实践。
Dataflow 虚拟机映像安全加固和安全实践
除了 Container-Optimized OS 的固有安全优势之外,Google 还对 Dataflow 工作器虚拟机映像应用了额外的强化和安全实践:
- 漏洞扫描:Google 会定期使用与行业标准 CVE Feed 集成的内部漏洞管理系统,扫描 Dataflow 所拥有的虚拟机映像和容器映像是否存在已知漏洞。
- 及时修补:Google 会对发现的漏洞进行分类,并根据严重程度应用补丁,同时遵守定义的服务等级目标 (SLO) 和 FedRAMP 等合规性计划。
- 合规性:Dataflow 已获得 FedRAMP High 认证,表明其符合美国联邦政府要求的严格安全标准和实践。这包括与漏洞管理和系统安全加固相关的控制措施。如需了解详情,请参阅Google Cloud 合规性产品。
- 安全公告:对于需要客户采取行动(例如更新长时间运行的流式处理流水线)的重大漏洞,Dataflow 会发布安全公告。
不支持自定义操作系统映像的原因
作为代管式服务,Dataflow 可屏蔽底层基础架构的复杂性。这包括操作系统。这种方法有助于 Google 提供高度优化、安全可靠的服务。出于以下原因,您无法在 Dataflow 工作器上使用自定义操作系统映像(例如内部安全强化型 Debian):
- 托管式服务完整性:使用自定义映像可能会降低 Dataflow 服务的稳定性和性能,同时还会带来安全风险。
- 直接集成:Dataflow 组件与特定的 Container-Optimized OS 环境(包括网络、代理和容器运行时)直接集成。
- 运营复杂性:管理和支持各种自定义操作系统映像会带来巨大的运营开销和风险。
- 安全责任:使用自定义映像会模糊操作系统级安全和修补方面的责任界限。
如需详细了解安全责任划分,请参阅 Dataflow 责任共担模型。
后续步骤
- 了解 Dataflow 安全性和权限。
- 详细了解 Container-Optimized OS 安全性。
- 查看 Dataflow 安全公告。