Managed Service for Apache Spark 文档

借助集群上的 Managed Service for Apache Spark,您可以充分利用开源数据工具来进行批处理、查询、流式传输和机器学习。Managed Service for Apache Spark 自动化功能可帮助您快速创建并轻松管理集群,以及在不需要集群时将其关闭以节省费用。这样一来,您就可以减少在管理方面花费的时间和金钱,专注于作业和数据。

使用 Managed Service for Apache Spark 无服务器运行 Spark 批处理工作负载,而无需预配和管理您自己的集群。指定工作负载参数,然后将工作负载提交到 Managed Service for Apache Spark 服务。该服务将在托管式计算基础架构上运行工作负载,并根据需要自动扩缩资源。Managed Service for Apache Spark 仅在执行工作负载时产生费用。

前往 Managed Service for Apache Spark 产品页面了解详情。

探索自主培训、应用场景、参考架构和代码示例,并了解有关如何使用和连接 Google Cloud 服务的示例。
培训
培训和教程

从 Dataproc Jobs API 将 Spark 作业提交到正在运行的 Google Kubernetes Engine 集群。

培训
培训和教程

该课程包含讲座、演示和实操实验来创建 Dataproc 集群、提交 Spark 作业,然后关闭集群。

培训
培训和教程

本课程包含讲座、演示和实操实验,使用在 Dataproc 集群上运行的 Apache Spark 的机器学习库实现逻辑回归,从而针对多变量数据集中的数据开发模型。

使用场景
使用场景

在 Google Cloud 上安排工作流。

使用场景
使用场景

如何将数据从本地 Hadoop 分布式文件系统 (HDFS) 迁移到 Google Cloud。

使用场景
使用场景

向 Managed Service for Apache Spark 集群提交 Spark 作业时添加这些依赖项的建议方法。

代码示例
代码示例

从 Python 调用 Dataproc API。

代码示例
代码示例

从 Java 调用 Dataproc API。

代码示例
代码示例

从 Node.js 调用 Dataproc API。

代码示例
代码示例

从 Go 调用 Dataproc API。

相关视频