Lokale SSDs in Managed Service for Apache Spark

Als Ergänzung zum Bootlaufwerk können Sie lokale SSDs (Solid State Drive) an Master-, primäre Worker- und sekundäre Worker-Knoten in Ihrem Cluster anhängen. Wenn dem Cluster lokale SSDs zur Verfügung gestellt werden, verwenden sowohl HDFS- als auch Scratch-Daten wie Shuffle-Ausgaben die lokalen SSDs anstelle des nichtflüchtigen Speichers für das Bootlaufwerk.

  • Lokale SSDs können schnellere Lese- und Schreibzeiten als nichtflüchtige Speicher bieten (siehe Leistung lokaler SSDs).
  • Die Größe von 375 GB pro lokaler SSD ist fest vorgegeben. Sie können jedoch mehrere lokale SSDs anhängen, um den SSD-Speicher zu vergrößern (siehe Lokale SSDs).
  • Jede lokale SSD wird in Managed Service for Apache Spark-Clusterknoten unter /mnt/<id> bereitgestellt.
  • Lokale SSDs verwenden ext4 als Standarddateisystem.

Lokale SSDs verwenden

Google Cloud Console

Erstellen Sie einen Cluster und hängen Sie lokale SSDs an die Knoten an:

  1. Öffnen Sie die Seite Cluster erstellen für Managed Service for Apache Spark.
  2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
  3. Bearbeiten Sie Primäre Worker und Sekundäre Worker, um die Einstellungen für lokale SSDs zu konfigurieren.
  4. Standardmäßig entsprechen die Einstellungen für den Treiberknoten (Masterknoten) den Einstellungen für den primären Worker. Unter Zusätzliche Konfiguration können Sie auf Treiberknoten klicken, um das Häkchen bei Treiberknoten standardmäßig auf primären Worker festlegen zu entfernen, und dann die Einstellungen für den Treiberknoten festlegen.

gcloud CLI-Befehl

Verwenden Sie den Befehl gcloud dataproc clusters create mit den Flags --num-master-local-ssds, --num-workers-local-ssds und --num-secondary-worker-local-ssds, um lokale SSDs an die Master-, primären und sekundären Worker-Knoten des Clusters anzuhängen.

Lokale SSDs können über eine SCSI- (Small Computer System Interface) oder NVME-Schnittstelle (Non-Volatile Memory Express) an Managed Service for Apache Spark-VMs angehängt werden (siehe Leistung lokaler SSDs). Die standardmäßige lokale SSD-Schnittstelle für Managed Service for Apache Spark-Cluster-VMs ist die SCSI-Schnittstelle. Verwenden Sie den Befehl gcloud dataproc clusters create mit den Flags --master-local-ssd-interface, --worker-local-ssd-interface und --secondary-worker-local-ssd-interface, um die lokale SSD-Schnittstelle für Master-, primäre und sekundäre Worker-Knoten anzugeben.

Beispiel:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

REST API

Legen Sie das Feld numLocalSsds in der InstanceGroupConfig für masterConfig, workerConfig und secondaryWorkerConfig in einer cluster.create-API-Anfrage fest, um lokale SSDs an die Master-, primären Worker- und sekundären Worker-Knoten des Clusters anzuhängen.

Lokale SSDs können über eine SCSI- (Small Computer System Interface) oder NVME-Schnittstelle (Non-Volatile Memory Express) an Managed Service for Apache Spark-VMs angehängt werden (siehe Leistung lokaler SSDs). Die standardmäßige lokale SSD-Schnittstelle für Managed Service for Apache Spark-Cluster-VMs ist die SCSI-Schnittstelle. Legen Sie das Feld localSsdInterface in der InstanceGroupConfig für masterConfig, workerConfig und secondaryWorkerConfig in einer cluster.create-API-Anfrage fest, um die Schnittstelle „SCSI“ oder „NVME“ anzugeben, über die lokale SSDs an die Master-, primären Worker- und sekundären Worker-Knoten des Clusters angehängt werden sollen.