Optionale Zeppelin-Komponente für Managed Service for Apache Spark

Mit der optionalen Komponente Apache Zeppelin können Sie webbasierte, interaktive Datenanalysen in Ihren Clustern ausführen. Sie können Zeppelin installieren, wenn Sie einen Managed Service for Apache Spark-Cluster mit optionalen Komponenten erstellen, um Spark-Arbeitslasten auszuführen und Daten in freigegebenen Notebooks zu visualisieren.

• Sie können Zeppelin durch die vorangestellten Clusterattribute zeppelin und zeppelin-env konfigurieren.
  • Um das Risiko einer Remotecodeausführung über unsichere Notebookserver-APIs zu verringern, ist die zeppelin:zeppelin.server.addr-Clusterattribut-Standardeinstellung für Image-Versionen 1.3 und höher 127.0.0.1, wodurch die Verbindungen auf localhost beschränkt sind, wenn Component Gateway aktiviert ist.

Die Komponente Zeppelin Notebook ist ein webbasiertes Notebook für die interaktive Datenanalyse. Die Web-UI von Zeppelin ist über Port 8080 auf dem ersten Masterknoten des Clusters verfügbar.

Notebooks werden standardmäßig im Managed Service for Apache Spark-Staging-Bucket in Cloud Storage gespeichert. Dieser Bucket wird vom Nutzer festgelegt oder beim Erstellen des Clusters automatisch generiert. Der Standort kann zum Zeitpunkt der Clustererstellung über das zeppelin:zeppelin.notebook.gcs.dir-Attribut geändert werden.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen. Komponenten können Clustern hinzugefügt werden, die mit Version 1.3 und höher von Managed Service for Apache Spark erstellt wurden.

Informationen zu den Komponentenversionen, die in den einzelnen Image-Releases von Managed Service for Apache Spark enthalten sind, finden Sie unter Unterstützte Dataproc-Versionen.

Google Cloud Console

1. Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
3. Bearbeiten Sie Optionale Komponenten.
4. Klicken Sie im daraufhin geöffneten Bereich das Kästchen für Zeppelin-Notebook an und klicken Sie dann auf Speichern.

gcloud-CLI

Wenn Sie einen Managed Service for Apache Spark-Cluster mit der Zeppelin-Komponente erstellen möchten, verwenden Sie den Befehl gcloud dataproc clusters create cluster-name mit dem Flag --optional-components.

Verwenden Sie beim Erstellen des Clusters (Image-Version 1.3.29 oder höher) den Befehl gcloud dataproc clusters create mit dem Flag --enable-component-gateway, wie unten gezeigt. Sie können dann eine Verbindung zur Web-UI des Zeppelin-Notebooks über das Component Gateway herstellen.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

REST API

Die Zeppelin-Komponente kann über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.

Verwenden Sie die Dataproc v1 API und legen Sie das Attribut EndpointConfig.enableHttpPortAccess auf true als Teil der clusters.create-Anfrage fest. Damit können Sie eine Verbindung zur Web-UI des Zeppelin-Notebooks über das Component Gateway ermöglichen.

Zeppelin-Notebook öffnen

Unter URLs des Component Gateway aufrufen und darauf zugreifen können Sie auf die Component Gateway-Links in der Google Cloud -Konsole klicken, um die Zeppelin-Notebook-UI, die auf dem Masterknoten des Clusters ausgeführt wird, in Ihrem lokalen Browser zu öffnen.