Managed Service for Apache Spark のドキュメント
クラスタ上の Managed Service for Apache Spark を使用すると、オープンソースのデータツールを利用して バッチ処理、クエリ実行、ストリーミング、ML を行えます。Managed Service for Apache Spark の自動化機能 を利用すると、クラスタを速やかに作成し、簡単に管理できます。また、不要なときにはクラスタを無効にして費用を節約できます。管理にかかる時間と費用が削減されるので、自分の仕事とデータに集中できます。
Managed Service for Apache Spark サーバーレスを使用すると、 独自のクラスタのプロビジョニングと管理を行うことなく、Spark バッチ ワークロードを実行できます。ワークロード パラメータを指定してから、ワークロードを Managed Service for Apache Spark サービスに送信します。このサービスは、マネージド コンピューティング インフラストラクチャでワークロードを実行し、必要に応じてリソースを自動スケーリングします。Managed Service for Apache Spark の料金は、ワークロードが実行されている時間に対してのみ適用されます。
300 ドル分の無料クレジットを獲得
Google Cloud の新規ユーザーは、初回登録時に 300 ドル分のクレジットを獲得できます。また、新規ユーザーと既存ユーザーのどちらも、20 種類以上のプロダクトを無料で利用して実践的な経験を積むことができます。
300 ドル分の無料クレジットを獲得
Google Cloud の新規ユーザーは、初回登録時に 300 ドル分のクレジットを獲得できます。また、新規ユーザーと既存ユーザーのどちらも、20 種類以上のプロダクトを無料で利用して実践的な経験を積むことができます。
ドキュメント リソース
関連リソース
Google Kubernetes Engine で Spark ジョブを実行する
Dataproc Jobs API から稼働中の Google Kubernetes Engine クラスタに Spark ジョブを送信します。
Cloud Dataproc の概要: Hadoop および Spark on Google Cloud
このコースでは、講義、デモ、ハンズオンラボを組み合わせて、Dataproc クラスタの作成、Spark ジョブの送信、クラスタのシャットダウンを行います。
Dataproc の Spark を使用した ML
このコースでは、講義、デモ、ハンズオンラボを組み合わせて、Dataproc クラスタで実行する Apache Spark の ML ライブラリを使用してロジスティック回帰を実装し、多変数データセットのデータ用のモデルを作成します。
オンプレミスから Google Cloud へ HDFS データを移行する
オンプレミスの Hadoop 分散ファイル システム（HDFS）から Google Cloud にデータを移動する方法を紹介します。
Apache Spark に関する Java と Scala の依存関係を管理する
Managed Service for Apache Spark クラスタに Spark ジョブを送信する際に依存関係を含めるうえで推奨される方法を紹介します。