Managed Service for Apache Spark のオプションの Pig コンポーネント

Apache Pig を使用すると、Managed Service for Apache Spark で大規模なデータセットを分析できます。このオープンソース プラットフォームは、オプション コンポーネント機能を使用してクラスタの作成時にインストールできます。

コンポーネントをインストールする

Managed Service for Apache Spark クラスタの作成時にコンポーネントをインストールします。

Apache Pig は、Managed Service for Apache Spark 2.3 以降のイメージ バージョンのオプション コンポーネントです。

最新の Managed Service for Apache Spark イメージ リリースに含まれるコンポーネント バージョンについては、サポートされている Managed Service for Apache Spark バージョンをご覧ください。

Google Cloud コンソール

  1. Google Cloud コンソールで、[クラスタの作成] ページを開きます。
  2. [追加構成] をクリックして、そのセクションを開きます。
  3. [オプション コンポーネント] を編集します。
  4. 表示されたパネルで、[Pig] のチェックボックスをオンにして、[保存] をクリックします。

gcloud CLI

Pig コンポーネントを組み込んだ Managed Service for Apache Spark クラスタを作成するには、--optional-components フラグを指定した gcloud dataproc clusters create CLUSTER_NAME コマンドを使用します(イメージ バージョン 2.3 以降を使用)。

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --optional-components=PIG \
    --image-version=2.3 \
    ... other flags

REST API

Dataproc API を使用して Pig コンポーネントを指定するには、clusters.create リクエストの一部として SoftwareConfig.Component を使用します。