Composant Zeppelin facultatif Managed Service pour Apache Spark

Le composant facultatif Apache Zeppelin vous permet d'exécuter des analyses de données interactives sur le Web sur vos clusters. Vous pouvez installer Zeppelin lors de la création d'un cluster Managed Service pour Apache Spark à l'aide de composants facultatifs pour exécuter des charges de travail Spark et visualiser des données dans des notebooks partagés.

• Zeppelin peut être configuré en fournissant les propriétés de cluster zeppelin et zeppelin-envpréfixées.
  • Pour réduire le risque d'exécution de code à distance sur les API de serveur de notebooks non sécurisées, le paramètre de propriété de cluster zeppelin:zeppelin.server.addr par défaut pour les versions d'images 1.3 et ultérieures est 127.0.0.1. Il limite les connexions à localhost lorsque Passerelle des composants est activée.

Le composant Zeppelin Notebook est un notebook Web pour l'analyse de données interactive. L'interface utilisateur Web de Zeppelin est disponible sur le port 8080 du premier nœud maître du cluster.

Par défaut, les notebooks sont enregistrés dans Cloud Storage, dans le bucket de préproduction du Managed Service pour Apache Spark (spécifié par l'utilisateur ou créé automatiquement lors de la création du cluster). L'emplacement peut être modifié au moment de la création du cluster via la propriété zeppelin:zeppelin.notebook.gcs.dir.

Installer le composant

Installez le composant lorsque vous créez un cluster Managed Service pour Apache Spark. Vous pouvez ajouter des composants aux clusters créés avec Managed Service pour Apache Spark version 1.3 et ultérieure.

Consultez la page Versions de Dataproc compatibles pour connaître la version du composant incluse dans chaque version d'image Managed Service pour Apache Spark.

ConsoleGoogle Cloud

1. Dans la console Google Cloud , ouvrez la page Créer un cluster.
2. Cliquez sur Configuration supplémentaire pour développer cette section.
3. Modifiez les composants facultatifs.
4. Dans le panneau qui s'ouvre, cochez la case Notebook Zeppelin, puis cliquez sur Enregistrer.

gcloud CLI

Pour créer un cluster Managed Service pour Apache Spark incluant le composant Zeppelin, utilisez la commande gcloud dataproc clusters create cluster-name avec l'option --optional-components.

Lors de la création du cluster (version d'image 1.3.29 ou ultérieure), utilisez la commande gcloud dataproc clusters create avec l'option --enable-component-gateway (comme indiqué ci-dessous) pour activer la connexion à l'interface utilisateur Web du notebook Zeppelin à l'aide de la passerelle des composants

.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

API REST

Le composant Zeppelin peut être spécifié via l'API Dataproc à l'aide de la propriété SoftwareConfig.Component dans le cadre d'une requête clusters.create.

À l'aide de l'API Dataproc v1, définissez la propriété EndpointConfig.enableHttpPortAccess sur true dans le cadre de la requête clusters.create pour activer la connexion à l'interface utilisateur Web du notebook Zeppelin à l'aide de la passerelle de composants.

Ouvrir le notebook Zeppelin

Consultez la section Afficher et accéder aux URL de la passerelle des composants pour cliquer sur les liens de la passerelle des composants dans la console Google Cloud afin d'ouvrir l'interface utilisateur du notebook Zeppelin exécuté sur le nœud maître du cluster dans votre navigateur local.