Zero-Scale-Cluster für Managed Service for Apache Spark erstellen

In diesem Dokument wird beschrieben, wie Sie einen Managed Service for Apache Spark-Cluster mit Nullskalierung erstellen.

Managed Service for Apache Spark-Cluster mit Nullskalierung bieten eine kostengünstige Möglichkeit, Managed Service for Apache Spark-Cluster zu verwenden. Im Gegensatz zu standardmäßigen Managed Service for Apache Spark-Clustern, die mindestens zwei primäre Worker erfordern, verwenden Managed Service for Apache Spark-Cluster mit Nullskalierung nur sekundäre Worker, die auf null herunterskaliert werden können.

Managed Service for Apache Spark-Cluster mit Nullskalierung sind ideal für langlebige Cluster, die Leerlaufzeiten haben, z. B. Cluster, die ein Jupiter-Notebook hosten. Sie bieten eine verbesserte Ressourcennutzung durch die Verwendung von Autoscaling-Richtlinien mit Nullskalierung.

Merkmale und Einschränkungen

Ein Managed Service for Apache Spark-Cluster mit Nullskalierung ähnelt einem Standardcluster, hat aber die folgenden besonderen Merkmale und Einschränkungen:

  • Erfordert Image-Version 2.2.53 oder höher.
  • Unterstützt nur sekundäre Worker, keine primären Worker.

  • Umfasst Dienste wie YARN, unterstützt aber das HDFS-Dateisystem nicht.

    • Wenn Sie Cloud Storage als Standarddateisystem verwenden möchten, legen Sie für das Clusterattribut core:fs.defaultFS einen Cloud Storage-Bucket-Speicherort (gs://BUCKET_NAME) fest.
    • Wenn Sie eine Komponente während der Clustererstellung deaktivieren, deaktivieren Sie auch HDFS.

  • Kann nicht in einen Standardcluster oder aus einem Standardcluster konvertiert werden.

  • Erfordert eine Autoscaling-Richtlinie für ZERO_SCALE-Clustertypen.

  • Erfordert die Auswahl von flexiblen VMs als Maschinentyp.

  • Die Oozie-Komponente wird nicht unterstützt.

  • Kann nicht über die Google Cloud Console erstellt werden.

Optional: Autoscaling-Richtlinie konfigurieren

Sie können eine Autoscaling-Richtlinie konfigurieren, um die sekundäre Worker-Skalierung für einen Cluster mit null Knoten zu definieren. Beachten Sie dabei Folgendes:

  • Legen Sie den Clustertyp auf ZERO_SCALE fest.
  • Konfigurieren Sie eine Autoscaling-Richtlinie nur für die Konfiguration der sekundären Worker.

Weitere Informationen finden Sie unter Autoscaling-Richtlinie erstellen.

Managed Service for Apache Spark-Cluster mit Nullskalierung erstellen

Erstellen Sie einen Cluster mit null Knoten mithilfe der gcloud CLI oder der Dataproc API.

gcloud

Führen Sie den Befehl gcloud dataproc clusters create lokal in einem Terminalfenster oder in Cloud Shell aus.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --cluster-type=zero-scale \
    --autoscaling-policy=AUTOSCALING_POLICY \
    --properties=core:fs.defaultFS=gs://BUCKET_NAME \
    --secondary-worker-machine-types="type=MACHINE_TYPE1[,type=MACHINE_TYPE2...][,rank=RANK]"
    ...other args

Ersetzen Sie Folgendes:

  • CLUSTER_NAME: Name des Managed Service for Apache Spark-Clusters mit null Skalierung.
  • REGION: Eine verfügbare Compute Engine-Region.
  • AUTOSCALING_POLICY: die ID oder der Ressourcen-URI der Autoscaling-Richtlinie.
  • BUCKET_NAME: Name Ihres Cloud Storage-Bucket.
  • MACHINE_TYPE: Bestimmter Compute Engine-Maschinentyp, z. B. n1-standard-4, e2-standard-8.
  • RANK: Definiert die Priorität einer Liste von Maschinentypen.

REST

Erstellen Sie einen Cluster mit null Knoten mithilfe einer Managed Service for Apache Spark REST API-Anfrage cluster.create:

Nächste Schritte