借助 Managed Service for Apache Spark on clusters,您可以充分利用开源数据工具来进行批处理、查询、流式传输和机器学习。Managed Service for Apache Spark on clusters 自动化功能可帮助您快速创建并轻松管理集群,以及在不需要集群时将其关闭以节省费用。由于花在管理上的时间和费用减少,您可以将精力集中在实际的工作和数据上。
Managed Service for Apache Spark 在集群上的优势
与传统的本地产品和竞争性云服务相比,Managed Service for Apache Spark 对于具有三个到数百个节点的集群提供许多独特优势:
- 费用低 - Managed Service for Apache Spark 集群的计费方式是每小时只需为集群中的每个虚拟 CPU 支付 1 美分,低于您使用的其他 Google Cloud 资源。除了价格低廉之外,Managed Service for Apache Spark 集群还可以包含计算价格更低的抢占式实例,从而进一步降低您的费用。Managed Service for Apache Spark 集群不会将您的用量向上舍入到最接近的小时,而是按秒计费,并且最低结算周期仅为一分钟,因此您只需为实际用量付费。
- 超快 - 如果不使用 Managed Service for Apache Spark,可能需要 5 到 30 分钟才能在本地或通过 IaaS 提供商创建 Spark 和 Hadoop 集群。相比之下,Managed Service for Apache Spark 集群可以快速启动、扩缩和关停,平均每个操作需要 90 秒或更少的时间。这意味着您可以缩短等待集群响应的时间,将更多时间花在实际的数据处理上。
- 集成 - 集群上的 Managed Service for Apache Spark 与其他 Google Cloud 服务(例如 BigQuery、Cloud Storage、Bigtable、Cloud Logging 和 Cloud Monitoring)内置集成,因此您不仅拥有 Spark 或 Hadoop 集群,还拥有完整的数据平台。例如,您可以使用 Managed Service for Apache Spark on clusters,轻松地将数太字节的原始日志数据直接 ETL 到 BigQuery 中,以用于业务报告。
- 托管 - 无需借助管理员或特殊软件提供的帮助,即可使用 Spark 和 Hadoop 集群。您可以通过 Google Cloud 控制台、Cloud SDK 或 Managed Service for Apache Spark on clusters REST API 与集群及 Spark 或 Hadoop 作业进行交互。当您使用完一个集群时,只需将它关闭,这样您就不会为闲置的集群付费。您不必担心数据丢失,因为 Managed Service for Apache Spark 已与 Cloud Storage、BigQuery 和 Bigtable 集成。
- 简单而熟悉 - 您无需学习新的工具或 API 即可使用 Managed Service for Apache Spark 集群,因此可以轻松地将现有项目迁移到 Managed Service for Apache Spark 集群(无需重新进行开发)。Spark、Hadoop、Pig 和 Hive 会频繁更新,因此您可以更快地提高工作效率。
Managed Service for Apache Spark 集群版包含哪些内容?
如需查看 Managed Service for Apache Spark 集群支持的开源组件(Hadoop、Spark、Hive 和 Pig)和 Google Cloud连接器版本的列表,请参阅 Managed Service for Apache Spark 集群映像版本列表。
使用入门
如需开始使用,请参阅 Managed Service for Apache Spark 集群快速入门。您可以通过以下方式访问集群上的 Managed Service for Apache Spark:
- 通过 REST API
- 使用 Cloud SDK
- 使用 Google Cloud 控制台
- 使用 Cloud 客户端库