Apache Pig te permite analizar grandes conjuntos de datos en Managed Service para Apache Spark. Puedes instalar esta plataforma de código abierto durante la creación del clúster con la función Componentes opcionales.
Instala el componente
Instala el componente cuando crees un clúster de Managed Service para Apache Spark.
Apache Pig es un componente opcional en las versiones de imagen 2.3 y posteriores de Managed Service para Apache Spark.
Consulta Versiones compatibles de Managed Service para Apache Spark para conocer las versiones de los componentes que se incluyen en las versiones más recientes de la imagen de Managed Service para Apache Spark.
Consola deGoogle Cloud
- En la consola de Google Cloud , abre la página Crear clúster.
- Haz clic en Configuración adicional para expandir esa sección.
- Edita los componentes opcionales.
- En el panel que se abre, selecciona la casilla de verificación de Pig y, luego, haz clic en Guardar.
gcloud CLI
Para crear un clúster de Managed Service para Apache Spark que incluya el componente Pig,
usa el comando
gcloud dataproc clusters create CLUSTER_NAME
con la marca --optional-components (con la versión de imagen
2.3 o posterior).
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --optional-components=PIG \ --image-version=2.3 \ ... other flags
API de REST
El componente de Pig se puede especificar a través de la API de Dataproc con SoftwareConfig.Component como parte de una solicitud clusters.create.