Apache Pig 可讓您在 Managed Service for Apache Spark 分析大型資料集。建立叢集時,您可以使用選用元件功能安裝這個開放原始碼平台。
安裝元件
請在建立 Managed Service for Apache Spark 叢集時安裝元件。
Apache Pig 是 Managed Service for Apache Spark 2.3 和更新版本映像檔的選用元件。
如要瞭解最新 Managed Service for Apache Spark 映像檔版本中包含的元件版本,請參閱「支援的 Managed Service for Apache Spark 版本」。
Google Cloud 控制台
- 在 Google Cloud 控制台,開啟「Create cluster」(建立叢集) 頁面。
- 按一下「其他設定」展開該部分。
- 編輯「Optional components」(選用元件)。
- 在開啟的面板中,勾選「Pig」核取方塊,然後按一下「Save」(儲存)。
gcloud CLI
如要建立包含 Pig 元件的 Managed Service for Apache Spark 叢集,請使用 gcloud dataproc clusters create CLUSTER_NAME 指令搭配 --optional-components 旗標 (請使用 2.3 以上版本的映像檔)。
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --optional-components=PIG \ --image-version=2.3 \ ... other flags
REST API
您可以透過 Dataproc API,使用 SoftwareConfig.Component 做為 clusters.create 要求的一部分,指定 Pig 元件。