Managed Service for Apache Spark-Komponenten

Mit Managed Service for Apache Spark können Sie Clusterumgebungen mit den Tools und Diensten anpassen, die für Ihre Big-Data-Arbeitslasten erforderlich sind. Diese Komponenten werden als installierte, optionale oder Initialisierungsaktionskomponenten kategorisiert.

Komponententypen

Managed Service for Apache Spark-Cluster enthalten die folgenden Arten von Komponenten:

• Installierte Komponenten: Komponenten, die im Image installiert und beim Erstellen des Clusters aktiviert werden.

• Optionale Komponenten: Komponenten, die Sie beim Erstellen des Clusters für die Installation und Verwendung im Cluster auswählen. Managed Service for Apache Spark installiert und aktiviert optionale Komponenten je nach Cluster-Image-Version so:

  • 2.2 und frühere Image-Versionen: Optionale Komponenten werden automatisch installiert. Ausgewählte optionale Komponenten werden aktiviert und nicht ausgewählte optionale Komponenten werden bei der Clustererstellung deinstalliert.

  • Image-Versionen ab 2.3: Alle optionalen Komponenten werden während der Clustererstellung installiert, mit Ausnahme der optionalen Komponenten Jupyter, Iceberg und Delta Lake, die in Image-Versionen ab 2.3 vorinstalliert sind. Vorinstallierte optionale Komponenten werden aus einem Cluster mit der Image-Version 2.3 oder höher entfernt, wenn sie beim Erstellen des Clusters nicht aktiviert sind. Weitere Informationen finden Sie unter Managed Service for Apache Spark 2.3.x-Release-Versionen.

    Um eine längere Startzeit für Cluster mit Image-Versionen ab 2.3 zu vermeiden, erstellen Sie ein benutzerdefiniertes Image mit vorinstallierten optionalen Komponenten. Führen Sie dazu generate_custom_image.py mit dem Flag --optional-components aus.

• Komponenten für Initialisierungsaktionen: Komponenten, die im Rahmen einer Initialisierungsaktion, die Sie beim Erstellen eines Clusters angeben, auf einem Cluster installiert werden.

Optionale Komponenten werden auf einem Cluster installiert, bevor Initialisierungsaktionen auf dem Cluster ausgeführt werden.

Auf den Seiten zu Image-Versionen von Managed Service for Apache Spark sind die Komponenten und Komponententypen aufgeführt, die in den neuesten Image-Releases von Managed Service for Apache Spark verfügbar sind.

Optionale Komponenten haben gegenüber Initialisierungsaktionen, die zum Installieren von Komponenten verwendet werden, die folgenden Vorteile:

• Optionale Komponenten werden auf Kompatibilität mit bestimmten Managed Service for Apache Spark-Versionen getestet.
• Optionale Komponenten werden mit einem Parameter für die Clustererstellung aktiviert. Für Initialisierungsaktionen ist ein Script erforderlich.

Verfügbare optionale Komponenten

Optionale Komponente	Komponentenname in Google Cloud CLI-Befehlen und API-Anfragen	Image-Version	Releasestufe
Delta Lake	DELTA	2.2.46 und höher	GA
Docker	DOCKER	1.5 oder höher	GA
Flink	FLINK	1.5 oder höher	AV
HBase	HBASE	1.5 und höher (nicht verfügbar in 2.1 und höher)	Eingestellte Funktionen
Hive WebHCat	HIVE_WEBHCAT	1.3 oder höher	GA
Hudi	HUDI	1.5 oder höher	GA
Iceberg	ICEBERG	2.2 oder höher	GA
Jupyter-Notebook	JUPYTER	1.3 oder höher	GA
Pig	PIG	1.5^* und höher	GA
Presto	PRESTO	1.3 und höher (nicht verfügbar in 2.1 und höher)	GA
Ranger	RANGER	1.3 oder höher	AV
Solr	SOLR	1.3 oder höher	GA
Trino	TRINO	2.1 und höher	GA
Zeppelin-Notebook	ZEPPELIN	1.3 oder höher	GA
ZooKeeper	ZOOKEEPER	1.0 oder höher	GA

Hinweise:

• Apache Pig ist eine optionale Komponente in Image-Versionen ab 2.3. Es war in 2.2 und früheren Image-Versionen vorinstalliert.

Informationen zum Herstellen einer Verbindung zu Komponenten-Weboberflächen, die auf Clustern ausgeführt werden, finden Sie unter Cluster-Weboberflächen. Weitere Informationen finden Sie auch unter Component Gateway für Managed Service for Apache Spark. Damit können Sie eine Verbindung zu den Weboberflächen der Kern- und optionalen Komponenten von Managed Service for Apache Spark herstellen, einschließlich YARN-, HDFS-, Jupyter- und Zeppelin-UIs, ohne SSH-Tunnel verwenden oder Firewallregeln ändern zu müssen, um eingehenden Traffic zuzulassen.

Optionale Komponenten hinzufügen

Hinweis: Die folgenden Anwendungsbeispiele gelten für Komponenten der allgemeinen Verfügbarkeit (GA).

Google Cloud Console

1. Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
3. Bearbeiten Sie Optionale Komponenten.
4. Wählen Sie im daraufhin geöffneten Bereich die Kästchen für die optionalen Komponenten aus, die Sie auf Ihrem Cluster installieren möchten, und klicken Sie dann auf Speichern.

gcloud-CLI

Wenn Sie einen Managed Service for Apache Spark-Cluster erstellen und eine oder mehrere optionale Komponenten im Cluster installieren möchten, verwenden Sie den Befehl gcloud beta dataproc clusters create cluster-name mit dem Flag --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

REST API

Optionale Komponenten können über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.