将 Cloud Storage 数据 Feed 升级到 v2 连接器框架
支持的平台:
Google SecOps
SIEM
为了提高数据注入流水线的可靠性、可伸缩性和性能,我们将 Cloud Storage 数据 Feed 升级到新的 v2 连接器框架。此新框架使用 Google Cloud Storage Transfer Service (STS)。
v2 连接器框架的优势
升级到 v2 连接器框架可为您的数据 Feed 带来显著改进,包括:
- 轮询效率更高:从 AWS 等来源轮询时,效率大幅提高。
- 提高可靠性和安全性:实时源凭证验证可确保您拥有安全可靠的连接。
- 扩展了身份支持:内置了对 AWS 联合身份的支持。
迁移时间表
我们将停用以下旧版连接器的 v1 连接器框架:Cloud Storage、Amazon S3、Amazon SQS 和 Azure Blob Storage。
请注意以下关键里程碑:
- 2026 年 11 月 1 日 - 停止支持:不再为 v1 Feed 提供更新,并且仅提供尽力而为的支持。我们强烈建议您迁移并采取行动,以便 Google 可以在此日期之前迁移您的 Feed,避免出现中断。
- 2027 年 3 月 15 日 - 永久停用:旧版连接器终止服务。在此日期之后,仍在使用 v1 连接器的所有数据 Feed 都将停止运行并返回出错提示。
自动迁移和所需采取的行动
为了方便您顺利过渡,我们会为所有使用旧版 v1 连接器的活跃数据 Feed 提供自动迁移服务。
根据您的来源类型,您必须采取以下措施,以确保自动迁移成功:
- Cloud Storage:按照向服务账号授予访问权限文档中的说明,向新服务账号授予特定权限。
- Amazon S3:如果您的环境使用 IP 许可清单,则必须将 STS IP 范围添加到存储桶政策中。按照为 Amazon S3 启用 STS 访问权限中的步骤操作。
- Amazon SQS:迁移仅支持包含来自单个 Amazon S3 存储桶的消息的 SQS 队列。如果您的队列接收来自多个存储桶的消息,请为每个存储桶分别创建一个 Feed。验证您的 SQS 队列是否已正确配置,以及 SQS 队列和 Amazon S3 存储桶的访问凭据是否相同。
- Microsoft Azure:如果您使用防火墙或虚拟网络,请按照 Azure STS 访问说明允许 STS IP 范围。
- 失败的 Feed:查看您当前的 Feed,并修正因凭据不正确而失败的 Feed,以便它们能够成功迁移。
安全性和可靠性
自动迁移流程旨在防止数据丢失。迁移功能具有严格的内置保护措施。预计在迁移窗口的短暂时间内,数据重复情况会很少。