Mit Apache Pig können Sie große Datasets in Managed Service for Apache Spark analysieren. Sie können diese Open-Source-Plattform während der Clustererstellung mithilfe der Funktion Optionale Komponenten installieren.
Komponente installieren
Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen.
Apache Pig ist eine optionale Komponente in Managed Service for Apache Spark 2.3 und höheren Image-Versionen.
Informationen zu den Komponentenversionen, die in den neuesten Image-Releases von Managed Service for Apache Spark enthalten sind, finden Sie unter Unterstützte Versionen von Managed Service for Apache Spark.
Google Cloud Console
- Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
- Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
- Bearbeiten Sie Optionale Komponenten.
- Klicken Sie im daraufhin angezeigten Steuerfeld das Kästchen für Pig an und klicken Sie dann auf Speichern.
gcloud-CLI
Wenn Sie einen Managed Service for Apache Spark-Cluster mit der Pig-Komponente erstellen möchten, verwenden Sie den Befehl gcloud dataproc clusters create CLUSTER_NAME mit dem Flag --optional-components (mit Image-Version 2.3 oder höher).
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --optional-components=PIG \ --image-version=2.3 \ ... other flags
REST API
Die Pig-Komponente kann über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.