クラスタの Managed Service for Apache Spark の概要

クラスタ上の Managed Service for Apache Spark を使用すると、オープンソースのデータツールを利用してバッチ処理、クエリ実行、ストリーミング、ML を行えます。クラスタ上の Managed Service for Apache Spark の自動化機能を利用すると、クラスタを速やかに作成し、簡単に管理できます。また、不要なときにはクラスタを無効にして費用を節約できます。管理にかかる時間と費用が削減されるので、自分の仕事とデータに集中できます。

クラスタでの Managed Service for Apache Spark のメリット

従来のオンプレミス プロダクトや競合するクラウド サービスと比較すると、Managed Service for Apache Spark には 3 ノードから数百ノードの規模のクラスタに対して固有の利点があります。

  • 低コスト - クラスタ上の Managed Service for Apache Spark の料金は、他に使用する Google Cloud リソースに加えて、クラスタの仮想 CPU ごとに 1 時間あたりわずか 1 セントです。この低価格に加え、Managed Service for Apache Spark クラスタには計算料金が低いプリエンプティブル インスタンスを含めることができるので、費用をさらに低く抑えることができます。Managed Service for Apache Spark on clusters では、使用時間を直近の時間単位に切り上げるのではなく、実際に使用したものに対してのみ分単位（最小請求対象期間は 1 分）で課金されます。
  • 超高速 - クラスタで Managed Service for Apache Spark を使用しないと、オンプレミスや IaaS プロバイダで Spark と Hadoop クラスタを作成するのに 5 ～ 30 分ほどかかります。これに対し、Managed Service for Apache Spark クラスタは起動、スケーリング、シャットダウンが高速で、こうした各オペレーションに要する時間は平均 90 秒以下です。つまり、クラスタの待機時間を減らし、実際にデータを扱う時間を増やすことができます。
  • 統合 - クラスタ上の Managed Service for Apache Spark には、BigQuery、Cloud Storage、Bigtable、Cloud Logging、Cloud Monitoring などの他の Google Cloud サービスとのインテグレーションがあらかじめ組み込まれているため、単なる Spark クラスタや Hadoop クラスタではなく完全なデータ プラットフォームが得られます。たとえば、クラスタで Managed Service for Apache Spark を使用すると、テラバイト単位の元のログデータを BigQuery に直接取り込んで、ETL 処理によって簡単にビジネス レポートを作成できます。
  • マネージド - 管理者の助けや特別なソフトウェアを必要としないで、Spark クラスタと Hadoop クラスタを使用できます。 Google Cloud コンソール、Cloud SDK、またはクラスタ上の Managed Service for Apache Spark の REST API を使用して、クラスタや Spark または Hadoop ジョブを操作できます。クラスタの使用が終了したら、クラスタをオフにするだけで、アイドル状態のクラスタに費用がかからないようにできます。Managed Service for Apache Spark は Cloud Storage、BigQuery、Bigtable と統合されているため、データの損失について心配する必要はありません。
  • 簡単で一般的 - クラスタで Managed Service for Apache Spark を使用するために新しいツールや API を学習する必要はなく、開発し直さなくても既存のプロジェクトをクラスタの Managed Service for Apache Spark に簡単に移行できます。Spark、Hadoop、Pig、Hive は頻繁に更新されるため、生産性を高めることができます。

クラスタ上の Managed Service for Apache Spark に含まれるもの

クラスタ上の Managed Service for Apache Spark でサポートされているオープンソース（Hadoop、Spark、Hive、Pig）と Google Cloudコネクタのバージョンのリストについては、Managed Service for Apache Spark クラスタ イメージのバージョン リストをご覧ください。

ご利用にあたって

利用を開始するには、クラスタでの Managed Service for Apache Spark のクイックスタートをご覧ください。クラスタ上の Managed Service for Apache Spark には、次の方法でアクセスできます。