Bootlaufwerke für Managed Service for Apache Spark

Sie wählen Standard, SSD, abgestimmte Persistent Disk oder Google Cloud Hyperdisk Balanced als Bootlaufwerke für Managed Service for Apache Spark-Clusterknoten aus.

Optionen für den Bootlaufwerktyp:

  • Sie können ein Standard-, SSD- oder abgestimmtes nichtflüchtiges Speicher-Bootlaufwerk für Master-, primäre Worker- und sekundäre Worker--Clusterknoten auswählen.

  • Sie können Hyperdisk Balanced als Bootlaufwerk für Master- und primäre Worker-Knoten auswählen. Beachten Sie, dass Managed Service for Apache Spark den Bootlaufwerktyp des sekundären Workers automatisch auf „Hyperdisk Balanced“ setzt, wenn der Bootlaufwerktyp des primären Workers auf „Hyperdisk Balanced“ gesetzt ist.

Der standardmäßige nichtflüchtige Bootlaufwerkstyp für Clustermaster- und primäre Worker-Knoten von Managed Service for Apache Spark ist Standard (pd-standard). Wenn der VM-Maschinentyp nur Hyperdisk mit ausgeglichener Leistung als Bootlaufwerk unterstützt, ist das Standard-Bootlaufwerk Hyperdisk mit ausgeglichener Leistung (hyperdisk-balanced). Der standardmäßige nichtflüchtige Bootlaufwerkstyp für sekundäre Worker-Knoten des Clusters ist der nichtflüchtige Bootlaufwerkstyp des primären Worker-Knotens.

Typen von nichtflüchtigen Bootlaufwerken für Clusterknoten auswählen

Sie können den Typ des nichtflüchtigen Bootlaufwerks auswählen, wenn Sie einen Cluster mit derGoogle Cloud Console, der Google Cloud CLI oder der Dataproc API erstellen.

Google Cloud Console

So wählen Sie Bootlaufwerktypen für Clusterknoten aus:

  1. Öffnen Sie die Seite Cluster erstellen für Managed Service for Apache Spark.
  2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
  3. Klicken Sie auf Primäre Worker und Sekundäre Worker, um die Standardeinstellungen zu bestätigen oder zu ändern.
  4. Standardmäßig entsprechen die Einstellungen für den Treiberknoten (Masterknoten) den Einstellungen für den primären Worker. Unter Zusätzliche Konfiguration können Sie auf Treiberknoten klicken, um das Häkchen bei Treiberknoten standardmäßig auf primären Worker festlegen zu entfernen, und dann die Einstellungen für den Treiberknoten festlegen.

gcloud-CLI

Sie können einen Cluster erstellen und Bootlaufwerktypen für Clusterknoten auswählen. Verwenden Sie dazu den Befehl gcloud dataproc clusters create mit den Flags --master-boot-disk-type, --worker-boot-disk-type und --secondary-worker-boot-disk-type.

Beispiel: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

Sie können im Feld InstanceGroupConfig.DiskConfig.bootDiskType in masterConfig, workerConfig und secondaryWorkerConfig im Rahmen einer cluster.create-API-Anfrage den Wert pd-standard, pd-ssd, pd-balanced oder hyperdisk-balanced festlegen.

Hyperdisk-Einstellungen

Wenn Sie einen Cluster mit einem Hyperdisk Balanced-Volume als Bootlaufwerk für einen Managed Service for Apache Spark-Clusterknoten erstellen, können Sie die bereitgestellten IOPS und den Durchsatz festlegen.

Console

So konfigurieren Sie bereitgestellte IOPS und Durchsatz:

  1. Öffnen Sie die Seite Cluster erstellen für Managed Service for Apache Spark.
  2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
  3. Klicken Sie auf Treiberknoten oder Primäre Worker.
  4. Konfigurieren Sie im daraufhin geöffneten Bereich die Einstellungen für die bereitgestellten IOPS und den Durchsatz und klicken Sie dann auf Speichern.

gcloud-CLI

Sie können die bereitgestellten IOPS und den bereitgestellten Durchsatz für Clusterknoten mit den Bootlaufwerken vom Typ „hyperdisk-balanced“ mit dem Befehl gcloud dataproc clusters create und den Flags --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput und --worker-boot-disk-provisioned-throughput festlegen.

Beispiel: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

Sie können die bereitgestellten IOPS und den bereitgestellten Durchsatz für Clusterknoten mit Hyperdisk-Bootlaufwerken mithilfe der Felder InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops und InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput für die Master- und Worker-Konfigurationen festlegen.