Managed Service for Apache Spark のドキュメント

クラスタ上の Managed Service for Apache Spark を使用すると、オープンソースのデータツールを利用してバッチ処理、クエリ実行、ストリーミング、ML を行えます。Managed Service for Apache Spark の自動化機能を利用すると、クラスタを速やかに作成し、簡単に管理できます。また、不要なときにはクラスタを無効にして費用を節約できます。管理にかかる時間と費用が削減されるので、自分の仕事とデータに集中できます。

Managed Service for Apache Spark サーバーレスを使用すると、独自のクラスタのプロビジョニングと管理を行うことなく、Spark バッチ ワークロードを実行できます。ワークロード パラメータを指定してから、ワークロードを Managed Service for Apache Spark サービスに送信します。このサービスは、マネージド コンピューティング インフラストラクチャでワークロードを実行し、必要に応じてリソースを自動スケーリングします。Managed Service for Apache Spark の料金は、ワークロードが実行されている時間に対してのみ適用されます。

詳細については、Managed Service for Apache Spark のプロダクト ページをご覧ください。

Google Cloud の新規ユーザーは、初回登録で 300 ドルのクレジットを獲得できます。此外,无论新老用户,均可免费使用20多款产品,积累动手实践经验。

Google Cloud の新規ユーザーは、初回登録で 300 ドルのクレジットを獲得できます。此外,无论新老用户,均可免费使用20多款产品,积累动手实践经验。

セルフペース トレーニング、ユースケース、リファレンス アーキテクチャ、コードサンプル、 Google Cloud サービスの使用方法と接続方法の例をご覧ください。
チュートリアル
トレーニングとチュートリアル

Dataproc Jobs API から稼働中の Google Kubernetes Engine クラスタに Spark ジョブを送信します。

トレーニング
トレーニングとチュートリアル

このコースでは、講義、デモ、ハンズオンラボを組み合わせて、Dataproc クラスタの作成、Spark ジョブの送信、クラスタのシャットダウンを行います。

トレーニング
トレーニングとチュートリアル

このコースでは、講義、デモ、ハンズオンラボを組み合わせて、Dataproc クラスタで実行する Apache Spark の ML ライブラリを使用してロジスティック回帰を実装し、多変数データセットのデータ用のモデルを作成します。

ソリューション
ユースケース

Google Cloud でワークフローをスケジュールします。

ユースケース
ユースケース

オンプレミスの Hadoop 分散ファイル システム(HDFS)から Google Cloud にデータを移動する方法を紹介します。

ベスト プラクティス
ユースケース

Managed Service for Apache Spark クラスタに Spark ジョブを送信する際に依存関係を含めるうえで推奨される方法を紹介します。

コードサンプル
コードサンプル

Python から Dataproc API を呼び出します。

コードサンプル
コードサンプル

Java から Dataproc API を呼び出します。

コードサンプル
コードサンプル

Node.js から Dataproc API を呼び出します。

コードサンプル
コードサンプル

Go から Dataproc API を呼び出します。

関連動画