在 Google Cloud 上通过 CI/CD 实现业务连续性

Last reviewed 2024-09-27 UTC

本文档介绍了持续集成和持续交付 (CI/CD) 背景下的灾难恢复 (DR) 和业务连续性规划。此外,本文还就如何在制定全面的业务连续性计划 (BCP) 时识别和缓解依赖项提供了指导。本文档包含可应用于 BCP 的最佳实践,无论您使用何种工具和流程。本文档假定您熟悉软件交付和运维周期、CI/CD 和灾难恢复的基础知识。

CI/CD 流水线负责构建和部署关键业务应用。因此,与应用基础架构一样,CI/CD 流程也需要规划灾难恢复和业务连续性。在考虑 CI/CD 的灾难恢复和业务连续性时,请务必了解软件交付和运营周期的每个阶段,并了解它们如何作为一个整体流程协同工作。

下图是软件开发和运维周期的简化视图,其中包含以下三个阶段:

  • 开发内环:编码、试用和提交
  • 持续集成:构建、测试和安全
  • 持续交付:升级、发布、回滚和指标

此图还显示,Google Kubernetes Engine (GKE)、Cloud Run 和 Google Distributed Cloud 是软件开发和运维周期中可能的部署目标。

软件开发和运营周期概览。

在整个软件开发和运营周期中,您需要考虑灾难对团队运营和维护关键业务应用的能力的影响。这样做有助于您确定 CI/CD 工具链中工具的恢复时间目标 (RTO) 和恢复点目标 (RPO)。

此外,大多数组织都有许多不同的 CI/CD 流水线,用于不同的应用和基础设施集,并且每个流水线对灾难恢复和业务连续性规划都有独特的要求。您为流水线选择的恢复策略会因工具的 RTO 和 RPO 而异。例如,某些流水线比其他流水线更重要,因此其 RTO 和 RPO 要求较低。在 BCP 中确定业务关键型流水线非常重要,在实施测试和运行恢复过程的最佳实践时,也应更加关注这些流水线。

由于每个 CI/CD 流程及其工具链都不同,因此本指南的目标是帮助您确定 CI/CD 流程中的单点故障,并制定全面的 BCP。以下部分可帮助您执行以下操作:

  • 了解从影响 CI/CD 流程的 DR 事件中恢复需要执行的操作。
  • 确定 CI/CD 流程中工具的 RTO 和 RPO。
  • 了解 CI/CD 流程的故障模式和依赖项。
  • 为工具链中的工具选择合适的恢复策略。
  • 了解为 CI/CD 流程实施灾难恢复计划的一般最佳实践。

了解业务连续性流程

制定 BCP 对于确保您的组织在发生中断和紧急情况时能够继续运营至关重要。它可帮助您的组织快速恢复 CI/CD 流程的正常运行状态。

以下各部分简要介绍了创建有效 BCP 所涉及的步骤。虽然其中许多步骤广泛适用于计划管理和灾难恢复,但某些步骤与为 CI/CD 流程规划业务连续性更相关。以下部分重点介绍了与规划 CI/CD 业务连续性特别相关的步骤,这些步骤也是本文档其余部分中指南的基础。

启动和规划

在初始阶段,技术团队和业务团队会共同努力,为业务连续性规划流程及其持续维护奠定基础。此阶段的关键步骤包括:

  • 领导层支持:确保高级管理层支持并倡导 BCP 的制定。指派专门的团队或个人负责监督该计划。
  • 资源分配:分配必要的预算、人员和资源,以制定和实施 BCP。
  • 范围和目标:定义 BCP 的范围及其目标。确定哪些业务流程至关重要,需要在计划中加以解决。
  • 风险评估:识别可能中断业务的潜在风险和威胁,例如自然灾害、网络安全漏洞或供应链中断。
  • 影响分析:评估这些风险评估发现结果对您的经营活动、财务、声誉和客户满意度的潜在影响。

业务影响分析

在此阶段,业务和技术团队会分析中断对客户和组织造成的业务影响,并优先恢复关键业务功能。这些业务功能由不同的工具在构建和部署流程的不同阶段执行。

业务影响分析是 CI/CD 业务连续性规划流程中的一个重要阶段,尤其是确定关键业务功能和工具依赖项的步骤。此外,了解 CI/CD 工具链(包括其依赖项以及它在 DevOps 生命周期中的运作方式)是为 CI/CD 流程制定 BCP 的基础。

业务影响分析阶段的关键步骤包括:

  • 关键功能:确定必须优先恢复的关键业务功能和流程。例如,如果您确定部署应用比执行单元测试更重要,则应优先恢复应用部署流程和工具。
  • 依赖项:确定可能影响关键功能恢复的内部和外部依赖项。依赖项对于确保 CI/CD 流程通过其工具链持续运行尤为重要。
  • RTO 和 RPO:为每项关键功能定义可接受的停机时间和数据丢失限制。这些 RTO 和 RPO 目标与业务功能对持续运营的重要性相关,并且涉及业务功能顺利运行所需的特定工具。

制定策略

在此阶段,技术团队会针对关键业务功能制定恢复策略,例如恢复运营和数据,以及与供应商和利益相关方沟通。策略制定也是为 CI/CD 流程规划业务连续性的关键部分,尤其是为关键功能选择高级恢复策略的步骤。

策略制定阶段的关键步骤包括:

  • 恢复策略:制定恢复关键功能的策略。这些策略可能涉及备用位置、远程工作或备份系统。这些策略与每个关键功能的 RTO 和 RPO 目标相关联。
  • 供应商关系:与主要供应商建立沟通和协调计划,以便在中断期间保持供应链正常运行。
  • 数据和 IT 恢复:制定数据备份、IT 系统恢复和网络安全措施计划。
  • 沟通计划:为内部和外部利益相关方制定明确的沟通计划,以便在中断期间和中断后进行沟通。

方案制定

在此阶段,主要步骤是记录 BCP。技术团队会记录每项关键功能的工具、流程、恢复策略、理由和过程。制定计划还包括编写分步说明,供员工在中断期间遵循。在实施和持续维护期间,可能需要对计划进行更改,并且应将计划视为活动文档。

实现

在此阶段,您将使用技术团队创建的 BCP 为组织实施该计划。实施包括员工培训和 BCP 的初始测试。实施还包括在发生中断时使用该计划来恢复正常运营。关键实施步骤包括:

  • 初始测试和培训:记录 BPC 后,通过模拟和练习对其进行测试,以找出差距并提高有效性。在发生中断时,培训员工了解其角色和职责。
  • 激活:发生中断时,根据预定义的触发条件和程序启动 BCP。
  • 沟通:让利益相关方了解情况和恢复工作。

维护和审核

此阶段不是仅发生一次的定义流程,而是代表持续不断的工作,应成为 CI/CD 操作的常规部分。请务必定期在组织内审核、测试和更新 BCP,以便在发生中断时,BCP 仍然具有相关性和可操作性。维护和审核的关键步骤包括:

  • 定期更新:定期审核和更新 BCP,使其保持最新且有效。每当人员、技术或业务流程发生变化时,请更新该计划。
  • 经验教训:在每次中断或测试后,进行汇报,以确定经验教训和改进领域。
  • 监管合规:使 BCP 符合行业法规和标准。
  • 员工意识:持续向员工宣传 BCP 及其在执行 BCP 时的角色。

为 CI/CD 构建业务连续性流程

本部分提供了有关构建 BCP 的具体指南,该 BCP 专门侧重于恢复 CI/CD 操作。为 CI/CD 规划业务连续性的过程始于全面了解 CI/CD 工具链,以及它如何与软件交付和运营生命周期相关联。以此为基础,您就可以规划组织如何从中断中恢复其 CI/CD 操作。

如需为 CI/CD 流程构建强大的业务连续性流程,您需要执行以下主要步骤:

以下各部分将更详细地介绍每个步骤。

了解工具链

CI/CD 工具链由许多不同的单个工具组成,工具的可能组合似乎无穷无尽。不过,了解 CI/CD 工具链及其依赖项是制定 CI/CD 业务连续性计划的关键。CI/CD 流程的核心任务是将代码交付到生产系统,供最终用户使用。在整个过程中,会使用许多不同的系统和数据源;了解这些数据源和依赖项对于制定 BCP 至关重要。如需开始创建灾难恢复策略,您首先需要了解 CI/CD 流程中涉及的不同工具。

为了帮助您了解如何评估自己的工具链并制定 BCP,本文档以在 GKE 上运行的企业 Java 应用为例。下图展示了工具链中的第一层数据和系统。第一层由您直接控制,包括以下内容:

  • 应用来源
  • CI/CD 平台中的工具,例如 Cloud Build 或 Cloud Deploy
  • 不同工具的基本互连

示例 Java 应用的架构。

如图所示,示例应用的主要流程如下:

  1. 开发内部循环中的代码开发事件会触发 Cloud Build。
  2. Cloud Build 从源代码控制库中拉取应用源代码。
  3. Cloud Build 会识别 build 配置文件中指定的任何必要依赖项,例如 Artifact Registry 中 Java 代码库中的第三方 JAR 文件。然后,Cloud Build 会从其源位置拉取这些依赖项。
  4. Cloud Build 运行构建并执行必要的验证,例如静态分析和单元测试。
  5. 如果构建成功,Cloud Build 会创建容器映像并将其推送到 Artifact Registry 中的容器仓库。
  6. 触发 Cloud Deploy 流水线,流水线从代码库中拉取容器映像并将其部署到 GKE 环境。

为了解 CI/CD 流程中使用的工具,我们建议您创建一个图表,其中显示您的 CI/CD 流程以及其中使用的工具,类似于本文档中的示例。然后,您可以使用图表创建一个表格,其中包含有关 CI/CD 工具链的关键信息,例如流程阶段、工具用途、工具本身以及受工具故障影响的团队。此表提供了工具链中工具的映射,并标识了 CI/CD 流程特定阶段的工具。因此,该表可帮助您全面了解工具链及其运作方式。

下表将前面提到的企业应用示例映射到图中的每个工具。为了更完整地展示工具链映射,这些表格还包含图中未提及的其他工具,例如安全工具或测试工具。

第一个表映射到 CI/CD 流程的 CI 阶段中使用的工具:

持续集成 源代码 使用的工具 主要用户 用量
阶段:源代码控制
  • 应用代码
  • 应用配置文件
  • Secret、密码和 API 密钥
  • 开发者
  • 站点可靠性工程师 (SRE)
  • 在分布式源代码控制工具中控制所有源代码(包括代码、配置文件和文档)的版本。
  • 执行备份和复制。
  • 将所有 Secret(包括密钥、证书和密码)存储在 Secret 管理工具中。
阶段:构建
  • 容器映像构建文件
  • build 配置文件

开发者

  • 在一致的按需平台上执行可重复的构建。
  • 在可靠且安全的代码库中检查和存储构建制品。
阶段:测试
  • 测试用例
  • 测试代码
  • 测试配置文件

开发者

在一致的按需平台上运行单元测试和集成测试。

阶段:安全
  • 安全规则
  • 安全配置文件

Security Scanner

  • 平台管理员
  • SRE

扫描代码以查找安全问题。

第二个表格重点介绍 CI/CD 流程的 CD 阶段中使用的工具:

持续部署 源代码 使用的工具 主要用户 用量
阶段:部署

部署配置文件

Cloud Deploy

  • 应用运维人员
  • SRE

在安全且一致的平台上自动执行部署,以提升、批准和管理流量。

阶段:测试
  • 测试用例
  • 测试代码
  • 测试数据
  • 配置文件

开发者

测试集成和性能,确保质量和易用性。

阶段:日志记录
  • 日志配置文件
  • 查询
  • 策略方案
  • 应用运维人员
  • SRE

保留日志,以便进行可观测性分析和问题排查。

阶段:监控

监控配置文件,包括:

  • 查询
  • 策略方案
  • 信息中心来源
  • 应用运维人员
  • SRE
  • 使用指标进行监控、可观测性和提醒。
  • 使用分布式跟踪
  • 发送通知

随着您继续制定 BCP,以及对 CI/CD 工具链的了解不断加深,您可以更新图表和映射表。

确定数据和依赖项

完成基本清单和 CI/CD 工具链映射后,下一步是捕获对元数据或配置的任何依赖项。在实施 BCP 时,您必须清楚了解 CI/CD 工具链中的依赖项。依赖项通常分为两类:内部(一阶)依赖项和外部(二阶或三阶)依赖项。

内部依赖项

内部依赖项是工具链使用且由您直接控制的系统。内部依赖项也由您的团队选择。 这些系统包括 CI 工具、密钥管理存储区和源代码控制系统。您可以将这些系统视为工具链本身的下一层。

例如,下图展示了内部依赖项如何融入工具链。该图表在之前的示例 Java 应用的第一层工具链图表的基础上进行了扩展,还包含了工具链的内部依赖项:应用凭据、deploy.yaml 文件和 cloudbuild.yaml 文件。

具有内部依赖项的示例 Java 应用的架构。

该图表显示,为了在示例 Java 应用中成功运行,Cloud Build、Cloud Deploy 和 GKE 等工具需要访问非工具链依赖项,例如 cloudbuild.yaml、deploy.yaml 和应用凭证。在分析自己的 CI/CD 工具链时,您需要评估某个工具是否可以自行运行,或者是否需要调用其他资源。

请考虑示例 Java 应用的文档化内部依赖项。 凭证存储在 Secret Manager 中,该服务不属于工具链,但应用在部署时启动需要这些凭证。因此,应用凭据作为 GKE 的依赖项包含在内。此外,请务必将 deploy.yaml 和 cloudbuild.yaml 文件作为依赖项包含在内,即使它们与应用代码一起存储在源代码控制系统中,因为它们定义了该应用的 CI/CD 流水线。

示例 Java 应用的 BCP 应考虑对 deploy.yaml 和 cloudbuild.yaml 文件的这些依赖项,因为它们会在恢复过程中工具就位后重新创建 CI/CD 流水线。此外,如果这些依赖项遭到入侵,即使工具本身仍在运行,流水线的整体功能也会受到影响。

外部依赖项

外部依赖项是工具链运行所依赖的外部系统,不受您的直接控制。外部依赖项由您选择的工具和编程框架产生。您可以将外部依赖项视为内部依赖项的下一层。外部依赖项的示例包括 npm 或 Maven 仓库以及监控服务。

虽然外部依赖项不在您的控制范围内,但您可以将其纳入 BCP。下图更新了示例 Java 应用,除了内部依赖项之外,还添加了外部依赖项:Maven Central 中的 Java 库和 Docker Hub 中的 Docker 映像。Java 库由 Artifact Registry 使用,Docker 映像由 Cloud Build 使用。

具有外部依赖项的 Java 应用示例的架构。

该图显示,外部依赖项对 CI/CD 流程可能很重要:Cloud Build 和 GKE 都依赖于两个外部服务(Maven 和 Docker)才能成功运行。在评估自己的工具链时,请记录工具需要访问的外部依赖项以及处理依赖项服务中断的程序。

在 Java 应用示例中,Java 库和 Docker 映像无法直接控制,但您仍可将其及其恢复过程纳入 BCP。例如,考虑 Maven 中的 Java 库。 虽然这些库存储在外部来源中,但您可以建立一个流程,定期将 Java 库下载并刷新到本地 Maven 仓库或 Artifact Registry。这样,您的恢复过程就不需要依赖于第三方来源的可用性。

此外,请务必了解,外部依赖项可以有多层。例如,您可以将内部依赖项使用的系统视为二阶依赖项。这些二阶依赖项可能具有自己的依赖项,您可以将其视为三阶依赖项。请注意,您可能需要在 BCP 中记录和说明二阶和三阶外部依赖项,以便在中断期间恢复运营。

确定 RTO 和 RPO 目标

在了解工具链和依赖项后,您需要为工具定义 RTO 和 RPO 目标。CI/CD 流程中的工具各自执行不同的操作,这些操作可能会对业务产生不同的影响。因此,请务必将业务功能的 RTO 和 RPO 目标的优先级与其对业务的影响相匹配。例如,通过 CI 阶段构建新版本的应用可能比通过 CD 阶段部署应用的影响更小。因此,部署工具的 RTO 和 RPO 目标可能比其他功能更长。

以下四象限图表是一个常规示例,展示了如何确定 CI/CD 工具链中每个组件的 RTO 和 RPO 目标。此图表中映射的工具链包括 IaC 流水线和测试数据源等工具。前面的 Java 应用图表中未提及这些工具,但此处包含这些工具,以便提供更完整的示例。

该图表显示了基于对开发者和运营的影响程度的象限。在图表中,组件的位置如下:

  • 对开发者的影响中等,对运营的影响较小:测试数据源
  • 对开发者和运营的影响中等:Cloud Key Management Service、Cloud KMS
  • 对开发者的影响中等,对运维的影响较大:部署流水线
  • 对开发者的影响大,对运营的影响小:开发内部循环
  • 对开发者的影响较大,对运维的影响中等:CI 流水线、基础设施即代码 (IaC) 流水线
  • 对开发者和运营影响较大:源代码控制管理 (SCM)、Artifact Registry

根据工具对开发者和运营的影响来映射工具的象限。

源代码控制管理和 Artifact Registry 等对开发者影响和运营影响较高的组件对业务的影响最大。 这些组件应具有最低的 RTO 和 RPO 目标。其他象限中的组件优先级较低,这意味着 RTO 和 RPO 目标会更高。一般来说,应根据可容忍的数据或配置丢失量与恢复该组件的服务所需的时间量,来设置工具链组件的 RTO 和 RPO 目标。

例如,请考虑图中 Artifact Registry 和 IaC 流水线的不同位置。通过比较这两个工具,可以看出 Artifact Registry 服务中断对经营活动的影响大于 IaC 流水线服务中断。由于 Artifact Registry 服务中断会严重影响您部署或自动扩缩应用的能力,因此与其他工具相比,其 RTO 和 RPO 目标较低。相比之下,该图表显示,与其他工具相比,IaC 流水线中断对经营活动的影响较小。这样,IaC 流水线将具有更高的 RTO 和 RPO 目标,因为您可以在服务中断期间使用其他方法来部署或更新基础架构。

选择高级业务连续性策略

生产应用的业务连续性流程通常依赖于三种常见的灾难恢复策略之一。但是,对于 CI/CD,您可以从两种高级业务连续性策略中进行选择:主动/被动或备份/恢复。您选择的策略取决于您的要求和预算。每种策略在复杂性和成本方面都有所取舍,您需要针对 CI/CD 流程进行不同的考虑。以下各部分详细介绍了每种策略及其权衡。

此外,当服务中断事件发生时,它们可能会影响您的 CI/CD 实现。您还应考虑所需的所有基础设施,包括网络、计算和存储。您应该为这些构建块制定灾难恢复计划,并定期进行测试,以确保其有效性。

主动/被动

采用主动/被动(或暖备用)策略时,您的应用和被动 CI/CD 流水线是镜像。不过,被动流水线实际上并未处理客户工作负载以及任何构建或部署,因此处于缩容状态。此策略最适合可容忍少量停机时间的关键业务应用。

下图展示了本文档中使用的示例 Java 应用的主动/被动配置。被动流水线在其他区域中完全复制应用工具链。

示例主动/被动配置的架构。

在此示例中,region1 托管活跃 CI/CD 流水线,region2 具有被动流水线。代码托管在外部 Git 服务提供商(例如 GitHub 或 GitLab)上。代码库事件(例如来自拉取请求的合并)可以触发 region1 中的 CI/CD 流水线,以构建、测试和部署到多区域生产环境。

如果 region1 流水线出现严重问题(例如产品区域性服务中断),则可能会导致部署失败或构建失败。如需快速从问题中恢复,您可以更新 Git 代码库的触发器并切换到 region2 流水线,该流水线随后会变为活跃流水线。在 region1 中的问题解决后,您可以将 region1 中的流水线保持为被动。

主动/被动策略的优势包括:

  • 停机时间短:由于被动流水线已部署但已缩容,因此停机时间仅限于扩容流水线所需的时间。
  • 可配置的数据丢失容忍度:使用此策略时,必须定期同步配置和制品。不过,您可以根据自己的要求配置数量,从而降低复杂性。

此策略的缺点包括:

  • 费用:由于基础架构重复,此策略会增加 CI/CD 基础架构的总体费用。

备份/恢复

采用备份/恢复策略时,您只需在突发事件恢复期间根据需要创建故障切换流水线。此策略最适合优先级较低的使用场景。下图显示了示例 Java 应用的备份/恢复配置。备份配置仅在其他区域中复制应用 CI/CD 流水线的一部分。

示例备份-恢复配置的架构。

与上一个示例类似,region1 托管着活跃的 CI/CD 流水线。region2 中没有被动流水线,只有必要的区域数据(例如 Maven 软件包和容器映像)的备份。如果您在 region1 中托管源代码库,则还应将数据同步到灾难恢复位置。

同样,如果 region1 流水线中发生严重问题(例如区域性产品服务中断),您可以在 region2 中恢复 CI/CD 实现。如果基础架构代码存储在基础架构代码库中,您可以从代码库运行自动化脚本,并在 region2 中重新构建 CI/CD 流水线。

如果服务中断是大规模事件,您可能会与其他客户争夺云资源。缓解这种情况的一种方法是为灾难恢复位置提供多个选项。例如,如果您的 region1 流水线位于 us-east1,则故障切换区域可以是 us-east4、us-central1 或 us-west1。

备份/恢复策略的优势包括:

  • 费用:此策略产生的费用最低,因为您仅在灾难恢复场景中部署备份流水线。

此策略的缺点包括:

  • 停机时间:此策略需要更多时间来实现,因为您需要在需要时创建故障切换流水线。这些服务需要在突发事件恢复期间创建和配置,而不是使用预构建的流水线。制品构建时间和检索外部依赖项所需的时间也可能会显著延长。

记录 BCP 并实施最佳实践

在映射 CI/CD 工具链、确定其依赖项并确定关键功能的 RTO 和 RPO 目标后,下一步是在书面 BCP 中记录所有相关信息。创建 BCP 时,请记录恢复每项关键功能的策略、流程和步骤。此文档流程包括为特定角色的员工编写在中断期间要遵循的分步流程。

定义 BCP 后,您可以使用最佳实践部署或更新 CI/CD 工具链,以实现 RTO 和 RPO 目标。尽管 CI/CD 工具链可能大不相同,但无论工具链如何,最佳实践的两个关键模式都是通用的:全面了解依赖项和实现自动化。

在依赖项方面,大多数 BCP 都会直接处理您控制范围内的系统。不过,请注意,二阶或三阶外部依赖项可能同样具有影响力,因此,为这些关键依赖项实施最佳实践和冗余措施也很重要。示例应用中的外部 Java 库就是三阶依赖项。如果您没有这些库的本地代码库或备份,那么当您从中拉取库的外部来源断开连接时,您可能无法构建应用。

在自动化方面,最佳实践的实施应纳入您的整体云 IaC 策略。您的 IaC 解决方案应使用 Terraform 等工具自动预配 CI/CD 实现的必要资源并配置流程。IaC 实践是非常有效的恢复过程,因为它们已纳入 CI/CD 流水线的日常运行中。此外,IaC 提倡将配置文件存储在源代码控制系统中,这反过来又促进了备份最佳实践的采用。

根据 BCP 以及依赖项和自动化最佳实践实现工具链后,您的 CI/CD 流程和恢复策略可能会发生变化。请务必记录因审核 BCP 和实施最佳实践而对恢复策略、流程和过程所做的任何更改。

测试故障场景并维护计划

请务必定期审核、测试和更新 BCP。测试 BCP 和恢复过程可验证计划是否仍然有效,以及记录的 RPO 和 RTO 目标是否可接受。不过,最重要的是,通过定期测试、更新和维护,将 BCP 的执行纳入正常操作。使用 Google Cloud可让您以最低费用测试恢复方案。为帮助进行测试,建议您实现以下内容:

  • 使用 IaC 工具自动预配基础设施:您可以使用 Terraform 等工具自动预配 CI/CD 基础设施。
  • 使用 Cloud Logging 和 Cloud Monitoring 监控和调试测试:Google Cloud Observability 提供了日志记录和监控工具,您可以通过 API 调用访问这些工具,这意味着您可以通过对指标做出反应来自动部署恢复方案。在设计测试时,请确保设置可触发相应恢复操作的监控和警报功能。
  • 在 BCP 中执行测试:例如,您可以测试权限和用户访问权限在灾难恢复环境中的工作方式是否与在生产环境中相同。您可以对灾难恢复环境进行集成和功能测试。您还可以执行一项测试,其中您对 Google Cloud 的常规访问路径不起作用。

在 Google,我们会通过名为 DiRT(灾难恢复测试)的流程定期测试 BCP。此测试有助于 Google 验证影响、自动化和暴露未考虑的风险。需要实施的自动化和 BCP 更改是 DiRT 的重要输出。

最佳做法

在本部分中,您将了解一些可用于实现 RTO 和 RPO 目标的最佳实践。这些最佳实践广泛适用于 CI/CD 的灾难恢复,而不适用于特定工具。无论您采用何种实现方式,都应定期测试 BCP,以确保高可用性、RTO 和 RPO 满足您的要求。如果发生突发事件或灾难,您还应该进行回顾并分析流程,以便改进流程。

高可用性

对于每个工具,您都应努力实现高可用性的最佳实践。遵循高可用性最佳实践可让您的 CI/CD 流程处于更主动的状态,因为这些实践可让 CI/CD 流程更具弹性,能够更好地应对故障。这些主动策略应与更具响应性的控制措施和程序结合使用,以实现恢复和备份。

以下是实现高可用性的一些最佳实践。不过,请参阅 CI/CD 中每个工具的详细文档,了解更详细的最佳实践:

  • 托管式服务:使用托管式服务会将运营责任转移给 Google Cloud。
  • 自动扩缩:尽可能使用自动扩缩。自动扩缩的一个关键方面是动态创建工作器实例,因此故障节点的恢复是自动的。
  • 全球和多区域部署:尽可能使用全球和多区域部署,而不是区域部署。例如,您可以将 Artifact Registry 配置为多区域存储。
  • 依赖项:了解工具的所有依赖项,并确保这些依赖项具有高可用性。例如,您可以缓存 Artifact Registry 中的所有第三方库。

备份程序

在为 CI/CD 实施灾难恢复时,某些工具和流程更适合备份/恢复策略。全面的备份策略是实现有效响应式控制的第一步。借助备份,您可以在发生恶意行为或灾难场景时以最少的中断恢复 CI/CD 流水线。

首先,您应实施以下三项最佳实践。 不过,如需了解更详细的备份最佳实践,请参阅 CI/CD 流程中每个工具的文档。

  • 源代码控制:将配置文件和您编写的所有内容(例如自动化脚本和政策)存储在源代码控制系统中。示例包括 cloudbuild.yaml 和 Kubernetes YAML 文件。
  • 冗余:确保在访问密码、证书和 API 密钥等 Secret 时不存在单点故障。应避免的做法包括:只有一个人知道密码,或将 API 密钥仅存储在特定区域的单个服务器上。
  • 备份:经常验证备份的完整性和准确性。Backup for GKE 等托管式服务将有助于简化验证流程。

恢复过程

灾难恢复还需要恢复过程来补充备份过程。您的恢复过程以及完整备份将决定您能够以多快的速度响应灾难场景。

依赖项管理

CI/CD 流水线可能具有许多依赖项,这些依赖项也可能是故障来源。应按照本文档前面确定数据和依赖项中的说明确定依赖项的完整列表。不过,最常见的两个依赖项来源如下:

  • 应用制品:例如软件包、库和映像
  • 外部系统:例如工单和通知系统

降低依赖项风险的一种方法是采用供应商做法。供应商应用软件包或映像是在私有代码库中创建和存储其副本的过程。供应商模式消除了对 外部软件包或镜像的依赖,并且还可以帮助防止 恶意软件被植入软件供应链。

供应商应用软件包或映像的一些优势包括:

  • 安全性:供应商管理消除了应用软件包或映像对外部来源的依赖,这有助于防止恶意软件插入攻击。
  • 控制:通过供应商提供自己的软件包或映像,组织可以更好地控制这些软件包和映像的来源。
  • 合规性:供应商管理可以帮助组织遵守行业法规,例如网络安全成熟度模型认证。

如果您的团队决定将应用软件包或映像作为供应商模块,请按照以下主要步骤操作:

  1. 确定需要供应商化的应用软件包或映像。
  2. 创建一个私有代码库,用于存储供应商提供的软件包或映像。
  3. 从原始来源下载软件包或映像,并将其存储在私有仓库中。
  4. 验证软件包或映像的完整性。
  5. 根据需要更新供应商软件包或映像。

CI/CD 流水线通常会调用外部系统来执行运行扫描、记录工单或发送通知等操作。在大多数情况下,这些外部系统都有自己的灾难恢复策略,应予以实施。不过,在某些情况下,他们可能没有合适的 DR 计划,这些情况应在 BCP 中明确记录。然后,您必须决定是否可以出于可用性原因跳过流水线中的这些阶段,或者是否可以接受 CI/CD 流水线停机。

监控和通知

CI/CD 与应用生产系统类似,因此您还需要为 CI/CD 工具实施监控和通知技术。我们建议的最佳实践是,实现信息中心和提醒通知。Cloud Monitoring 的 GitHub 示例代码库包含许多信息中心和提醒政策示例。

您还可以实现其他级别的监控,例如服务等级指标 (SLI) 和服务等级目标 (SLO)。这些监控级别有助于跟踪 CI/CD 流水线的整体运行状况和性能。例如,可以实施 SLO 来跟踪构建和部署阶段的延迟时间。这些 SLO 可帮助团队按照您希望的速度和频率构建和发布应用。

紧急访问流程

在灾难期间,运营团队可能需要采取标准程序之外的操作,并获得对系统和工具的紧急访问权限。此类紧急操作有时称为“紧急程序”。首先,您应该实施以下三项最佳实践:

  1. 制定明确的上报计划和程序。清晰的计划有助于运营团队了解何时需要使用紧急访问程序。
  2. 确保多人有权访问关键信息,例如配置和密钥。
  3. 开发自动审核方法,以便跟踪紧急访问程序的使用时间和使用者。

后续步骤

贡献者

作者:

其他贡献者: