"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Cluster beenden und starten

Nachdem Sie einen Cluster erstellt haben, können Sie ihn beenden und bei Bedarf neu starten. Durch das Beenden eines inaktiven Clusters fallen keine Kosten an und es wird vermieden, dass ein inaktiver Cluster gelöscht wird. Erstellen Sie später einen Cluster mit derselben Konfiguration.

Hinweise:

Die Funktion zum Starten und Beenden von Clustern ist für Cluster verfügbar, die mit Images erstellt wurden, die am oder nach den folgenden Image-Versionen veröffentlicht wurden:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
Das Beenden einzelner Clusterknoten wird nicht empfohlen, da der Status einer beendeten VM möglicherweise nicht mit dem Clusterstatus synchronisiert ist. Dies kann zu Fehlern führen.
Cluster, die flexible VMs verwenden, können die Start- und Stoppfunktion nicht verwenden.

Cluster anhalten

Durch das Anhalten eines Clusters werden alle Cluster von Compute Engine-VMs beendet. Sie zahlen nicht für VMs, während sie beendet sind. Sie bezahlen jedoch weiterhin für alle zugehörigen Clusterressourcen wie nichtflüchtige Speicher.

Hinweise:

Laufende Vorgänge: Wenn ein Cluster laufende Vorgänge wie Aktualisierungs- oder Diagnosevorgänge hat, schlägt die Stoppanfrage fehl.
Ausgeführte Jobs: Wenn auf einem Cluster Jobs ausgeführt werden, wird die Stoppanfrage erfolgreich ausgeführt: Die VMs werden beendet und die ausgeführten Jobs schlagen fehl.
Antwort auf Beenden: Wenn die Beendigungsanfrage einen Beendigungsvorgang zurückgibt, befindet sich der Cluster im Status STOPPING und es können keine weiteren Jobs gesendet werden (SubmitJob-Anfragen schlagen fehl).
Autoscaling: Wenn Sie einen Cluster beenden, für den Autoscaling aktiviert ist, beendet der Managed Service for Apache Spark-Autoscaler die Skalierung des Clusters. Die Skalierung des Clusters wird fortgesetzt, sobald der Cluster neu gestartet wurde. Wenn Sie Autoscaling für einen beendeten Cluster aktivieren, wird die Autoscaling-Richtlinie wirksam, sobald der Cluster neu gestartet wurde.

Stoppvorgang überwachen

Sie können gcloud dataproc operations describe operation-id ausführen, um den Vorgang mit langer Ausführungszeit zum Beenden des Clusters zu überwachen. Mit dem Befehl gcloud dataproc clusters describe cluster-name können Sie den Übergang des Clusterstatus von RUNNING zu STOPPING zu STOPPED überwachen.

Beschränkungen

Folgendes kann nicht beendet werden:
- Cluster mit sekundären Workern
- Cluster mit lokalen SSDs
Wenn ein Cluster beendet ist, können Sie Folgendes nicht tun:
- Den Cluster aktualisieren
- Jobs an den Cluster senden
- Über das Managed Service for Apache Spark-Komponenten-Gateway auf Notebooks zugreifen, die im Cluster ausgeführt werden

Cluster starten

Wenn Sie einen beendeten Cluster neu starten, werden keine Initialisierungsaktionen noch einmal ausgeführt. Initialisierungsaktionen werden nur auf Clusterknoten ausgeführt, wenn der Cluster erstellt wird oder wenn Knoten hinzugefügt werden, wenn der Cluster hochskaliert wird.
Nach Abschluss des Startvorgangs können Sie sofort Jobs an den Cluster senden. Die Ausführung der Jobs kann sich jedoch um etwa 30 Sekunden verzögern, damit HDFS und YARN betriebsbereit werden.