Automatische Zonenplatzierung

Wenn Sie einen Managed Service for Apache Spark-Cluster erstellen, geben Sie eine Compute Engine-Region als Standort des Clusters an. Sie können auch eine Zone innerhalb dieser Region angeben oder die Zone weglassen, damit die Funktion „Auto Zone“ von Managed Service for Apache Spark eine Zone in der angegebenen Region für Sie auswählt. Alle Knoten für den Cluster werden in der ausgewählten Zone bereitgestellt.

Sie können Zonen von den Auswahlkriterien für die Auto Zone ausschließen, wenn die Clusterregion mindestens zwei nicht ausgeschlossene Zonen enthält. Weitere Informationen finden Sie unter Automatische Zonenplatzierung verwenden.

Auto Zone und Ressourcenreservierungen

Auto Zone priorisiert das Erstellen eines Clusters in einer Zone mit Ressourcenreservierungen so:

  • Wenn die angeforderten Clusterressourcen vollständig durch reservierte und, falls erforderlich, On-Demand-Ressourcen in einer Zone abgedeckt werden können, nutzt Auto Zone die reservierten und On-Demand-Ressourcen und erstellt den Cluster in dieser Zone.

  • Auto Zone priorisiert Zonen für die Auswahl nach der Gesamtzahl der CPU-Kernreservierungen (vCPU) in einer Zone.

    Beispiel: In einer Anfrage zur Clustererstellung werden 20 n2-standard-2 und 1 n2-standard-64 angegeben (40 + 64 vCPUs angefordert). Auto Zone priorisiert die folgenden Zonen für die Auswahl entsprechend den in der Zone verfügbaren vCPU-Reservierungen:

    1. zone-c verfügbare Reservierungen: 3 n2-standard-2 und 1 n2-standard-64 (70 vCPUs)
    2. zone-b verfügbare Reservierung: 1 n2-standard-64 (64 vCPUs)

    3. zone-a verfügbare Reservierungen: 25 n2-standard-2 (50 vCPUs)

      Wenn jede dieser Zonen zusätzliche On-Demand-vCPU- und andere Ressourcen hat, die für die Clusteranfrage ausreichen, wählt Auto Zone zone-c für die Clustererstellung aus.

  • Wenn die angeforderten Clusterressourcen nicht vollständig durch reservierte und On-Demand-Ressourcen in einer Zone abgedeckt werden können, erstellt Auto Zone den Cluster in einer Zone, die die Anfrage am wahrscheinlichsten mit On-Demand-Ressourcen erfüllen kann.

Auto Zone-Platzierung verwenden

Google Cloud Console

So erstellen Sie einen Cluster, der die Auto Zone-Platzierung verwendet:

  1. Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
  2. Wählen Sie im Bereich Cluster definieren eine Region aus.
  3. Wählen Sie im Feld Zone die Option Beliebig aus.

Zonen ausschließen: Das Festlegen von Zonen, die von der Auto Zone-Platzierung ausgeschlossen werden sollen, wird in der Google Cloud Console nicht unterstützt. Dieses Feature ist über die Google Cloud CLI und die REST API verfügbar.

gcloud-CLI

Wenn Sie einen Managed Service for Apache Spark-Cluster erstellen möchten, der Auto Zone-Platzierung verwendet, verwenden Sie den Befehl gcloud dataproc clusters create. Legen Sie für das Flag --region eine Region fest. Lassen Sie dann entweder das Flag --zone weg oder legen Sie für das Flag --zone einen leeren String (--zone="") fest.

Alternativ zum Flag „--zone“ können Sie das Flag --auto-zone-exclude-zones verwenden, um eine durch Kommas getrennte Liste von Zonen anzugeben. Bei der Auto Zone-Auswahl wird eine Zone aus der angegebenen Region ausgewählt, die aufgeführten Zonen werden jedoch von den Auswahlkriterien ausgeschlossen. In der Clusterregion müssen mindestens zwei nicht ausgeschlossene Zonen verfügbar sein.

Beispiele:

Grundlegende Verwendung von Auto Zone:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    other args ...

Auto Zone mit ausgeschlossenen Zonen:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --auto-zone-exclude-zones=ZONE_1,ZONE_2 \
    other args ...

REST API

Wenn Sie einen Managed Service for Apache Spark-Cluster erstellen möchten, der die Auto Zone-Platzierung verwendet, erstellen Sie eine JSON-API-Anfrage clusters.create und lassen Sie das Feld gceClusterConfig.zoneUri leer. Fügen Sie im REST-Endpunkt https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters einen Regionsnamen ein. Managed Service for Apache Spark Auto Zone wählt eine Zone für den Cluster in der angegebenen Region aus.

Wenn Sie bestimmte Zonen ausschließen möchten, können Sie das Feld gceClusterConfig.autoZoneExcludeZoneUris mit einer Liste der auszuschließenden Zonennamen füllen. In der Clusterregion müssen mindestens zwei nicht ausgeschlossene Zonen verfügbar sein.

Kurze Ressourcennamen mit Auto Zone-Platzierung verwenden: Wenn Sie in einer REST API-Clustererstellungsanfrage mit Auto Zone-Platzierung einen Ressourcen-URI wie machineTypeUri oder acceleratorTypeUri angeben, verwenden Sie einen kurzen Ressourcennamen ohne Zonenangabe, z. B. „n1-standard-2“ oder „nvidia-tesla-t4“.