Connect 集群为连接器提供了一个环境,可帮助将数据从现有 Kafka 部署移动到 Google Cloud Managed Service for Apache Kafka 集群,或将数据从 Managed Service for Apache Kafka 集群移动到其他服务或其他 Kafka 集群。 Google Cloud 辅助 Kafka 集群可以是另一个 Google Cloud Managed Service for Apache Kafka 集群、自行管理的集群或本地集群。
准备工作
确保您已创建 Managed Service for Apache Kafka 集群。您需要知道要附加 Connect 集群的 Managed Service for Apache Kafka 集群的名称。
每个 Connect 集群都与一个 Managed Service for Apache Kafka 集群相关联。此集群存储在 Connect 集群上运行的连接器的状态。
所需的角色和权限
如需获得创建 Connect 集群所需的权限,请让您的管理员为您授予项目的 Managed Kafka Connect Cluster Editor (roles/managedkafka.connectClusterEditor) IAM 角色。如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
此预定义角色包含创建 Connect 集群所需的 managedkafka.connectClusters.create 权限。
工作器子网权限
创建 Connect 集群时,您需要指定工作器子网。在创建操作期间,Managed Kafka 服务代理会将工作器子网挂接到 Connect 集群。
managedkafka.connectClusters.create 权限会间接允许主账号附加服务代理有权使用的任何子网,即使主账号没有直接使用该子网的权限也是如此。
必需的 ACL 条目
Connect 集群需要对关联的 Managed Service for Apache Kafka 集群中的主题具有读写权限,以及对使用方群组具有读取权限。
如果 Kafka 集群没有为这些资源定义 ACL,则 Connect 集群默认具有这些权限。
但是,如果为这些资源定义了任何 ACL,则您必须添加 ACL 条目,以明确向 Managed Kafka 服务代理授予所需权限。如需授予权限,请创建以下 ACL 条目:
allTopics的READ和WRITE权限allConsumerGroups的READ权限
您可以使用 gcloud managed-kafka acls add-acl-entry 命令创建 ACL 条目,如下所示:
gcloud managed-kafka acls add-acl-entry allTopics \
--cluster=CLUSTER_ID \
--location=LOCATION \
--principal=User:service-PROJECT_NUMBER@gcp-sa-managedkafka. \
--operation=READ --permission-type=ALLOW --host=*
gcloud managed-kafka acls add-acl-entry allTopics \
--cluster=CLUSTER_ID \
--location=LOCATION \
--principal=User:service-PROJECT_NUMBER@gcp-sa-managedkafka. \
--operation=WRITE --permission-type=ALLOW --host=*
gcloud managed-kafka acls add-acl-entry allConsumerGroups \
--cluster=CLUSTER_ID \
--location=LOCATION \
--principal=User:service-PROJECT_NUMBER@gcp-sa-managedkafka. \
--operation=READ --permission-type=ALLOW --host=*
替换以下内容:
CLUSTER_ID:Kafka 集群的 IDLOCATION:Kafka 集群的位置PROJECT_NUMBER:Google Cloud 包含 Connect 集群的项目的项目编号
如需了解详情,请参阅向 Managed Kafka ACL 添加 ACL 条目。
在其他项目中创建 Connect 集群
Connect 集群使用 Managed Kafka 服务代理访问 Google Cloud 资源,包括 Kafka 集群。服务代理与您在其中创建 Connect 集群的 Google Cloud 项目相关联。
如果您在与 Kafka 集群不同的项目中创建 Connect 集群,请在 Kafka 集群的项目中向 Connect 集群的服务代理授予 Managed Kafka Service Agent (managedkafka.serviceAgent) IAM 角色。例如,如果您在项目 A 中创建 Kafka 集群,并在项目 B 中创建 Connect 集群,则需要将项目 A 的 Managed Kafka Service Agent 角色授予与项目 B 关联的 Managed Kafka Service Agent。
Connect 集群的属性
本部分介绍了 Connect 集群的属性。
Connect 集群名称
您要创建的 Connect 集群的名称。有关如何命名 Connect 集群的指南,请参阅 Managed Service for Apache Kafka 资源命名指南。集群的名称不可变。
Kafka 主集群
与您的 Connect 集群关联的 Managed Service for Apache Kafka 集群。此关联集群(主集群)会存储在 Connect 集群上运行的连接器的状态。通常,Managed Service for Apache Kafka 主集群也是所有源连接器的目标位置,以及在 Connect 集群上运行的所有接收器连接器的输入位置。
一个 Managed Service for Apache Kafka 集群可以有多个 Connect 集群。如果您选择其他项目中的 Managed Service for Apache Kafka 集群,请确保已配置适当的权限。
创建 Connect 集群后,您无法更新到其他 Kafka 集群。
区域共置在延迟时间和网络费用方面的优势
将 Managed Service for Apache Kafka 和 Connect 集群共置于同一区域可减少延迟时间和网络费用。例如,假设您的 Managed Service for Apache Kafka 集群位于 region-a,并且您正在使用接收器连接器将数据从该 Managed Service for Apache Kafka 集群(来源)写入同样位于 region-a 的 BigQuery 表(接收器)。如果您在 region-a 中部署 Connect 集群,则此部署选择可最大限度地减少 BigQuery 写入操作的延迟时间,并消除 Managed Service for Apache Kafka 集群与 Connect 集群之间的区域间网络传输费用。
多系统延迟时间和费用注意事项
Kafka Connect 使用连接器在系统之间移动数据。连接器的一端始终与 Managed Service for Apache Kafka 集群交互。单个 Kafka Connect 集群可以运行多个连接器,每个连接器都充当来源(从系统拉取数据)或接收器(将数据推送到系统)。
虽然与 Managed Service for Apache Kafka 集群位于同一区域的 Connect 集群可受益于它们之间较低的通信延迟,但每个连接器也会与其他系统(例如 BigQuery 表或其他 Kafka 集群)进行交互。即使 Connect 集群和 Managed Service for Apache Kafka 集群位于同一位置,其他系统也可能位于其他区域。这会导致延迟时间和费用增加。整体流水线延迟时间取决于以下三个系统的位置:Managed Service for Apache Kafka 集群、Connect 集群以及来源或接收器系统。
例如,如果您的 Managed Service for Apache Kafka 集群位于 region-a,Connect 集群位于 region-b,并且您正在为 region-c 中的存储桶使用 Cloud Storage 连接器,则您需要支付两次网络跃点费用(region-a 到 region-b,然后 region-b 到 region-c,或反之,具体取决于连接器方向)。
在规划 Connect 集群放置位置时,请仔细考虑所有涉及的区域,以优化延迟时间和费用。
容量配置
容量配置要求您为 Connect 集群配置 vCPU 数量和每个 vCPU 的内存量。您可以在创建 Connect 集群后更新其容量。以下是容量配置的属性:
vCPU:分配给 Connect 集群的 vCPU 数量。最小值为 3 个 vCPU。
内存:为每个 vCPU 分配的内存量。您必须为每个 vCPU 预配 1 GiB 到 8 GiB 的内存。创建集群后,可以在这些限制范围内增加或减少内存量。
例如,如果您创建了一个具有 6 个 vCPU 的集群,则可以为该集群分配的最小内存为 6 GiB(每个 vCPU 1 GiB),最大内存为 48 GiB(每个 vCPU 8 GiB)。
分配给 Connect 集群中每个工作器的 vCPU 和内存对集群的性能、容量和费用有重大影响。以下是 vCPU 和内存对 Connect 集群的影响。
vCPU 数量
Kafka Connect 会将连接器的工作划分为多个任务。每个任务都可以并行处理数据。vCPU 越多,意味着可以同时运行的任务越多,从而提高吞吐量。
vCPU 数量越多,Connect 集群的费用就越高。
内存
Kafka Connect 使用内存来缓冲在连接器与 Managed Service for Apache Kafka 之间流动的数据。内存越大,缓冲区就越大。大内存可以提高吞吐量,尤其是对于大容量数据流。处理非常大的消息或记录的连接器需要足够的内存来处理这些消息或记录,而不会遇到
OutOfMemoryError异常。内存越大,Connect 集群的费用越高。
如果您使用的是繁重的转换逻辑,则需要分配更多内存。
您的目标是为 Connect 集群选择合适的容量配置。 为此,您必须了解 Connect 集群可以处理的吞吐量。
工作器(主要)子网
工作器子网(也称为主要子网)用于将 VPC 网络连接到 Connect 集群。此子网可让集群工作器访问使用方网络中来源和接收器的端点,例如 Managed Service for Apache Kafka 集群或自托管式 Kafka 集群。
以下是配置工作器子网的一些要求:
必须提供工作器子网。
子网必须与 Connect 集群位于同一区域。
子网必须与主 Kafka 集群的已连接子网列表中的一个子网位于同一父级 VPC 中。
子网 CIDR 范围的大小下限必须为 /22(1024 个地址)。
系统会使用 Private Service Connect 接口为集群工作器分配工作器子网中的 IP 地址。工作器可以访问可从子网的 VPC 网络访问的任何网络目标,但需满足以下要求:
- 端点不得位于
172.16.0.0/14CIDR 范围内。此范围预留给 Managed Service for Apache Kafka Connect 内部使用。 - 防火墙规则必须允许流量通过。请参阅配置网络连接的安全性。
- 对于网络流量,您必须配置 Cloud NAT。例如,MirrorMaker 连接器需要 Cloud NAT 才能从可通过互联网访问的 Kafka 集群复制数据。
- 如需访问与工作器子网 VPC 位于不同 VPC 中的 Private Service Connect 端点,您必须确保使用的是受支持的使用方配置(例如 NCC)。如需了解详情,请参阅通过端点访问已发布服务的简介。
可解析的 DNS 域名
可解析的 DNS 网域(也称为 DNS 域名)允许将使用方 VPC 网络中的 DNS 地址提供给租户 VPC。这样,Connect 集群就可以将 DNS 名称解析为 IP 地址,从而促进与其他服务(包括 MirrorMaker 连接器的其他 Kafka 集群)的通信。
对于可解析的 DNS 网域,您可以选择 Managed Service for Apache Kafka 集群。您无需为 Managed Service for Apache Kafka 主集群配置 DNS 域名,因为其引导地址会自动包含在可解析 DNS 域名列表中。
不过,您也可以手动指定 DNS 网域,如果您选择外部 Kafka 集群,则必须手动指定。系统会自动添加 Managed Service for Apache Kafka 主集群的 DNS 域名。其他 Kafka 集群仍需要配置 DNS 网域。
Secret Manager 资源
某些连接器需要敏感数据(例如密码)作为其配置的一部分。如需安全地管理此类数据,您可以将数据存储在 Secret Manager 中,并向 Connect 集群授予对该 Secret 的访问权限。
如需将 Secret Manager 密钥与 Kafka Connect 搭配使用,请执行以下操作:
向 Managed Kafka 服务账号授予以下 IAM 角色。这些角色允许您的 Connect 集群查看 Secret 并访问其载荷。
- Secret Manager Viewer (
roles/secretmanager.viewer) - Secret Manager Secret Accessor (
roles/secretmanager.secretAccessor)
- Secret Manager Viewer (
创建一个包含敏感数据的 Secret。如需了解详情,请参阅创建 Secret。
创建或更新 Connect 集群时,请指定集群有权访问的 Secret。每个 Connect 集群最多可以指定 32 个 Secret。
Secret 会作为文件装载到集群工作器中。连接器对这些文件具有只读权限。创建连接器时,连接器的配置属性可以引用这些 Secret。
如需引用密钥文件的路径,请使用以下格式:
/var/secrets/PROJECT_NAME-SECRET_NAME-SECRET_VERSION
示例:
ssl.truststore.location=/var/secrets/project1-truststore-1如需将 Secret 的值用作配置值(例如密码),请使用以下格式:
${directory:/var/secrets:PROJECT_NAME-SECRET_NAME-SECRET_VERSION}示例:
password=${directory:/var/secrets:project1-database_password-3}
替换以下内容:
- PROJECT_NAME: Google Cloud 项目的名称。
- SECRET_NAME:Secret 的名称。
- SECRET_VERSION:Secret 版本。
标签
标签是键值对,可帮助您进行组织和识别。它们可帮助您整理 Connect 集群。您可以将标签附加到每个 Connect 集群,然后根据其标签对资源进行过滤。标签示例包括 environment:prod、application:web-app。
创建 Connect 集群
在创建集群之前,请查看 Connect 集群属性的相关文档。
创建 Connect 集群需要 20 到 30 分钟。
控制台
在 Google Cloud 控制台中,前往连接集群页面。
点击 创建。
在 Connect 集群名称字段中,输入 Connect 集群的名称。如需了解详情,请参阅 Managed Service for Apache Kafka 资源命名指南。
在 Primary Kafka 集群列表中,选择一个 Managed Service for Apache Kafka 集群。如需了解详情,请参阅主 Kafka 集群。
在区域列表中,为 Connect 集群选择一个位置。如需详细了解如何选择位置,请参阅主 Kafka 集群。
在容量配置部分中,为以下字段输入值或保留默认值。
在 vCPUs 字段中,输入集群的虚拟 CPU 数量。
在内存字段中,输入每个 CPU 的内存量(以 GiB 为单位)。该值不能超过每个 CPU 8 GiB。
如需了解详情,请参阅容量配置。
在网络配置部分中,从网络列表中选择一个 VPC 网络,或保留默认值。当您选择 Kafka 主集群时,系统会填充此列表。
在工作器子网部分中,从子网列表中选择一个子网,或保留默认值。如需了解详情,请参阅工作器子网。当您选择子网时,系统会自动填充子网 URI 路径字段。
可选:添加可解析的 DNS 域名。系统会自动将 Kafka 主集群的 DNS 域名添加为可解析的 DNS 域名。如需指定其他 DNS 域名,请执行以下操作:
展开可解析的 DNS 域名部分。
点击添加 DNS 域名。
如需添加现有 Managed Service for Apache Kafka 集群的 DNS 域名,请从 Kafka 集群列表中选择该集群。否则,请在 DNS 网域字段中输入 DNS 网域。
点击完成。
可选:如需添加 Secret Manager 资源,请执行以下操作:
展开 Secret Manager 资源部分。
点击添加 Secret 资源。
在 Secret 列表中,选择一个 Secret。
在Secret 版本列表中,选择 Secret 的版本。
点击完成。
可选:添加标签以整理项目。如需添加标签,请执行以下操作:
展开标签部分。
点击添加标签。
在键字段中,输入标签的键。
在值字段中,输入标签的值。
点击创建。
gcloud
-
在 Google Cloud 控制台中,激活 Cloud Shell。
Cloud Shell 会话随即会在 Google Cloud 控制台的底部启动,并显示命令行提示符。Cloud Shell 是一个已安装 Google Cloud CLI 且已为当前项目设置值的 Shell 环境。该会话可能需要几秒钟时间来完成初始化。
运行
gcloud managed-kafka connect-clusters create命令:gcloud managed-kafka connect-clusters create CONNECT_CLUSTER_ID \ --location=LOCATION \ --cpu=CPU \ --memory=MEMORY \ --primary-subnet=WORKER_SUBNET \ --kafka-cluster=KAFKA_CLUSTER \ [--project=PROJECT_ID] \ [--secret=SECRET] \ [--dns-name=DNS_DOMAIN_NAME] \ [--config-file=CONFIG_FILE] \ [--labels=LABELS] [--async]替换以下内容:
CONNECT_CLUSTER_ID:Connect 集群的 ID 或名称。有关如何命名 Connect 集群的指南,请参阅 Managed Service for Apache Kafka 资源命名指南。Connect 集群的名称不可变。
LOCATION:您在其中创建 Connect 集群的位置。此区域必须是受支持的 Google Cloud区域。 Connect 集群创建后,您无法更改其位置。如需获取可用位置列表,请参阅 Managed Service for Apache Kafka 位置。如需详细了解位置建议,请参阅主 Kafka 集群。
CPU:Connect 集群的 vCPU 数量。最小值为 3 个 vCPU。请参阅 vCPU 数量。
MEMORY:Connect 集群的内存量。请使用“MB”“MiB”“GB”“GiB”“TB”或“TiB”单位。例如,“3GiB”。您必须为每个 vCPU 预配 1 GiB 到 8 GiB 的内存。 请参阅记忆功能。
WORKER_SUBNET:Connect 集群的工作器子网。
子网的格式为
projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_ID。工作器子网必须与 Connect 集群位于同一区域。
PROJECT_ID:(可选)Google Cloud 项目的 ID。如果未提供,系统会使用当前项目。
KAFKA_CLUSTER:与 Connect 集群关联的主 Managed Service for Apache Kafka 集群的 ID 或完全限定名称。请参阅 Kafka 集群。Kafka 集群的格式为
projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID。创建 Connect 集群后,您无法更新到其他 Kafka 集群。
SECRET:(可选)要加载到工作器中的 Secret。必须提供 Secret Manager 中的确切 Secret 版本,不支持别名。一个集群中最多可以加载 32 个 Secret。格式:
projects/PROJECT_ID/secrets/SECRET_NAME/versions/VERSION_IDDNS_DOMAIN_NAME:(可选)要对 Connect 集群显示的子网中的 DNS 域名。Connect 集群可以使用域名访问资源,而无需依赖 IP 地址。请参阅 DNS 对等互连。
LABELS:(可选)要与集群关联的标签。如需详细了解标签的格式,请参阅标签。要添加的标签键值对列表。键必须以小写字符开头,并且只能包含连字符 (-)、下划线 (_)、小写字符和数字。值只能包含连字符 (-)、下划线 (_)、小写字符和数字。
CONFIG_FILE:(可选)包含从集群或连接器默认值替换的配置的 JSON 或 YAML 文件的路径。此文件还支持内嵌 JSON 或 YAML。
--async:(可选)立即返回结果,而无需等待正在进行的操作完成。借助--async标志,您可以在后台创建集群的同时继续执行其他任务。如果您不使用该标志,系统会等待操作完成,然后再返回响应。您必须等到集群完全更新后,才能继续执行其他任务。
您会收到类似以下内容的响应:
Create request issued for: [sample-connectcluster] Check operation [projects/test-project/locations/us-east1/operations/operation-1753590328249-63ae19098cc06-64300a0a-06512d02] for status.存储
OPERATION_ID以跟踪进度。例如,此处的值为operation-1753590328249-63ae19098cc06-64300a0a-06512d02。
Terraform
您可以使用 Terraform 资源创建 Connect 集群。
如需了解如何应用或移除 Terraform 配置,请参阅基本 Terraform 命令。
Go
在试用此示例之前,请按照安装客户端库中的 Go 设置说明进行操作。如需了解详情,请参阅 Managed Service for Apache Kafka Go API 参考文档。
如需向 Managed Service for Apache Kafka 进行身份验证,请设置应用默认凭据 (ADC)。 如需了解详情,请参阅为本地开发环境设置 ADC。
Java
在试用此示例之前,请按照安装客户端库中的 Java 设置说明进行操作。如需了解详情,请参阅 Managed Service for Apache Kafka Java API 参考文档。
如需向 Managed Service for Apache Kafka 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置 ADC。
Python
在试用此示例之前,请按照安装客户端库中的 Python 设置说明进行操作。如需了解详情,请参阅 Managed Service for Apache Kafka Python API 参考文档。
如需向 Managed Service for Apache Kafka 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置 ADC。
监控集群创建操作
只有在运行 gcloud CLI 创建 Connect 集群后,您才能运行以下命令。
创建 Connect 集群通常需要 20-30 分钟。为了跟踪集群创建进度,
gcloud managed-kafka connect-clusters create命令会使用长时间运行的操作 (LRO),您可以使用以下命令监控该操作:gcloud managed-kafka operations describe OPERATION_ID \ --location=LOCATION替换以下内容:
- 将
OPERATION_ID替换为上一部分中的操作 ID 值。 - 将
LOCATION替换为上一部分中的位置值。
- 将