"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google utilise la technologie IA pour traduire le contenu dans votre langue préférée. Les traductions générées par IA peuvent contenir des erreurs.

Composant Jupyter facultatif de Managed Service pour Apache Spark

Le composant facultatif Jupyter vous permet d'exécuter des notebooks d'analyse de données interactifs sur un cluster Managed Service pour Apache Spark. Le composant fournit un environnement de notebook Jupyter Web mono-utilisateur compatible avec l'UI Web JupyterLab.

Alternatives aux notebooks multi-utilisateurs

Pour diffuser des notebooks auprès de plusieurs utilisateurs, créez une instance Vertex AI Workbench compatible avec Managed Service pour Apache Spark. Vous pouvez également installer le plug-in Managed Service pour Apache Spark JupyterLab sur une VM.

Configuration

Configurez Jupyter. Jupyter peut être configuré en fournissant des propriétés de cluster dataproc:jupyter. Pour réduire le risque d'exécution de code à distance sur des API de serveur de notebook non sécurisées, la propriété de cluster dataproc:jupyter.listen.all.interfaces est définie par défaut sur false, ce qui limite les connexions à localhost (127.0.0.1) lorsque la passerelle des composants est activée (l'activation de la passerelle des composants est requise lors de l'installation du composant Jupyter).

Le notebook Jupyter fournit un kernel Python pour exécuter du code Spark et un kernel PySpark. Par défaut, les notebooks sont enregistrés dans Cloud Storage, dans le bucket de préproduction Managed Service pour Apache Spark (spécifié par l'utilisateur ou créé automatiquement lors de la création du cluster). L'emplacement peut être modifié au moment de la création du cluster à l'aide de la propriété de cluster dataproc:jupyter.notebook.gcs.dir.

Utiliser des fichiers de données Vous pouvez utiliser un notebook Jupyter pour travailler avec des fichiers de données qui ont été importés dans Cloud Storage. Étant donné que le connecteur Cloud Storage est préinstallé sur un cluster Managed Service pour Apache Spark, vous pouvez référencer les fichiers directement dans votre notebook. Voici un exemple d'accès à des fichiers CSV dans Cloud Storage :

df = spark.read.csv("gs://bucket/path/file.csv")
df.show()

Consultez Fonctions de chargement et d'enregistrement génériques pour obtenir des exemples PySpark.

Installer Jupyter

Installez le composant lorsque vous créez un cluster Managed Service pour Apache Spark. Le composant Jupyter nécessite l'activation de la passerelle des composants de Managed Service pour Apache Spark.

ConsoleGoogle Cloud

Dans la console Google Cloud , ouvrez la page Créer un cluster.
Cliquez sur Configuration supplémentaire pour développer cette section.
Modifiez les composants facultatifs.
Dans le panneau qui s'ouvre, cochez la case Notebook Jupyter, puis cliquez sur Enregistrer.

gcloud CLI

Pour créer un cluster Managed Service pour Apache Spark incluant le composant Jupyter, exécutez la commande gcloud dataproc clusters create cluster-name avec l'option --optional-components.

Exemple de dernière version d'image par défaut

L'exemple suivant installe le composant Jupyter sur un cluster qui utilise la dernière version d'image par défaut.

gcloud dataproc clusters create cluster-name \
    --optional-components=JUPYTER \
    --region=region \
    --enable-component-gateway \
    ... other flags

API REST

Le composant Jupyter peut être installé via l'API Dataproc à l'aide de SoftwareConfig.Component dans le cadre d'une requête clusters.create.

Définissez la propriété EndpointConfig.enableHttpPortAccess sur true dans la requête clusters.create pour permettre la connexion à l'interface utilisateur Web du notebook Jupyter à l'aide de la passerelle des composants.

Ouvrir les interfaces utilisateur Jupyter et JupyterLab

Cliquez sur les liens de la passerelle des composants de la consoleGoogle Cloud pour ouvrir dans votre navigateur local le notebook Jupyter ou l'interface utilisateur JupyterLab s'exécutant sur le nœud maître du cluster.

Sélectionnez "GCS" ou "Disque local" pour créer un notebook Jupyter dans l'un des emplacements.

Associer des GPU aux nœuds maîtres et aux nœuds de calcul

Vous pouvez ajouter des GPU aux nœuds maîtres et aux nœuds de calcul de votre cluster lorsque vous utilisez un notebook Jupyter pour :

Prétraitez les données dans Spark, puis collectez un DataFrame sur le nœud maître et exécutez TensorFlow.
Utiliser Spark pour orchestrer des exécutions TensorFlow en parallèle
Exécuter Tensorflow-on-YARN
Utiliser ce notebook avec d'autres scénarios de machine learning fonctionnant avec des GPU