重新创建并更新 Google Kubernetes Engine 虚拟集群

您可以复制现有的 Managed Service for Apache Spark on GKE 虚拟集群的配置， 更新复制的配置，然后使用更新后的配置创建新的 Managed Service for Apache Spark on GKE 集群。

重新创建和更新 Managed Service for Apache Spark on GKE 集群

gcloud

1. 设置环境变量：

   CLUSTER=existing Managed Service for Apache Spark on GKE  cluster name \
     REGION=region
   

2. 将现有的 Managed Service for Apache Spark on GKE 集群配置导出到 YAML 文件。

   gcloud dataproc clusters export $CLUSTER \
       --region=$REGION > "${CLUSTER}-config.yaml"
   

3. 更新配置。

   1. 移除 kubernetesNamespace 字段。移除此字段是必需的，以避免在创建更新后的集群时发生命名空间冲突。

      用于移除 kubernetesNamespace 字段的示例 sed 命令：

      sed -E "s/kubernetesNamespace: .+$//g" ${CLUSTER}-config.yaml
      

   2. 进行其他更改以更新 Managed Service for Apache Spark on GKE 虚拟集群 配置设置，例如更改 Spark componentVersion。

4. 如果您要创建一个与要更新的集群同名的集群（如果您要替换原始集群），请删除现有的 Managed Service for Apache Spark on GKE 虚拟集群。

5. 等待先前的删除操作完成，然后导入 更新后的集群配置，以使用更新后的配置设置创建新的 Managed Service for Apache Spark on GKE 虚拟集群。

   gcloud dataproc clusters import $CLUSTER \
       --region=$REGION \
       --source="${CLUSTER}-config.yaml"

API

1. 设置环境变量：

   CLUSTER=existing Managed Service for Apache Spark on GKE  cluster name \
     REGION=region
   

2. 将现有的 Managed Service for Apache Spark on GKE 集群配置导出到 YAML 文件。

   curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)"  "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}?alt=json" > "${CLUSTER}-config.json"

3. 更新配置。

   1. 移除 kubernetesNamespace 字段。移除此字段是必需的，以避免在创建更新后的集群时出现命名空间冲突。

      用于移除 kubernetesNamespace 字段的示例 jq 命令：

      jq 'del(.virtualClusterConfig.kubernetesClusterConfig.kubernetesNamespace)'
      

   2. 进行其他更改以更新 Managed Service for Apache Spark on GKE 虚拟集群 配置设置，例如更改 Spark componentVersion。

4. 如果您要创建一个与要更新的集群同名的集群（如果您要替换原始集群），请删除现有的 Managed Service for Apache Spark on GKE 虚拟集群。

   curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}"
   

5. 等待先前的删除操作完成，然后导入更新后的集群配置，以使用更新后的设置创建新的 Managed Service for Apache Spark on GKE 虚拟集群。

   curl -i -X POST  -H "Authorization: Bearer $(gcloud auth print-access-token)"  -H "Content-Type: application/json; charset=utf-8" -d "@${CLUSTER}-config.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"
   

控制台

控制台不支持通过导入现有集群的配置来重新创建 Managed Service for Apache Spark on GKE 虚拟集群。 Google Cloud