Apache Pig vous permet d'analyser de grands ensembles de données sur Managed Service pour Apache Spark. Vous pouvez installer cette plate-forme Open Source lors de la création du cluster à l'aide de la fonctionnalité Composants facultatifs.
Installer le composant
Installez le composant lorsque vous créez un cluster Managed Service pour Apache Spark.
Apache Pig est un composant facultatif dans les versions d'image 2.3 et ultérieures de Managed Service pour Apache Spark.
Consultez Versions de Managed Service pour Apache Spark compatibles pour connaître les versions des composants incluses dans les dernières versions d'image Managed Service pour Apache Spark.
ConsoleGoogle Cloud
- Dans la console Google Cloud , ouvrez la page Créer un cluster.
- Cliquez sur Configuration supplémentaire pour développer cette section.
- Modifiez les composants facultatifs.
- Dans le panneau qui s'ouvre, cochez la case Pig, puis cliquez sur Enregistrer.
gcloud CLI
Pour créer un cluster Managed Service pour Apache Spark incluant le composant Pig, exécutez la commande gcloud dataproc clusters create CLUSTER_NAME avec l'option --optional-components (en utilisant la version d'image 2.3 ou ultérieure).
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --optional-components=PIG \ --image-version=2.3 \ ... other flags
API REST
Le composant Pig peut être spécifié via l'API Dataproc à l'aide de SoftwareConfig.Component dans une requête clusters.create.