SSD locali di Managed Service per Apache Spark

Per integrare il disco di avvio, puoi collegare unità a stato solido locali (SSD locali) ai nodi master, worker primario e worker secondario del cluster. Quando al cluster vengono forniti SSD locali, sia i dati HDFS sia i dati temporanei, come gli output di shuffle, utilizzano gli SSD locali anziché il disco permanente di avvio.

  • Gli SSD locali possono fornire tempi di lettura e scrittura più rapidi rispetto ai disco permanente (consulta Prestazioni degli SSD locali).
  • La dimensione di 375 GB di ogni SSD locale è fissa, ma puoi collegare più SSD locali per aumentare lo spazio di archiviazione SSD (consulta Informazioni sulle unità SSD locali).
  • Ogni SSD locale è montato su /mnt/<id> nei nodi del cluster Managed Service for Apache Spark.
  • Le unità SSD locali utilizzano ext4 come file system predefinito.

Utilizza gli SSD locali

ConsoleGoogle Cloud

Crea un cluster e collega gli SSD locali ai nodi:

  1. Apri la pagina Crea cluster di Managed Service for Apache Spark.
  2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
  3. Modifica Worker primari e Worker secondari per configurare le impostazioni degli SSD locali.
  4. Per impostazione predefinita, le impostazioni del nodo driver (master) sono le stesse di quelle del worker primario. In Configurazione aggiuntiva, puoi fare clic su Nodo driver per deselezionare la casella di controllo Imposta il nodo driver come il worker primario, quindi specificare le impostazioni del nodo driver.

Comando gcloud CLI

Utilizza il comando gcloud dataproc clusters create con i flag --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds per collegare le unità SSD locali ai nodi master, worker primario e worker secondario del cluster.

Le unità SSD locali possono essere collegate alle VM di Managed Service for Apache Spark utilizzando un'interfaccia SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (consulta Prestazioni delle unità SSD locali). L'interfaccia SSD locale predefinita della VM del cluster Managed Service for Apache Spark è l'interfaccia SCSI. Utilizza il comando gcloud dataproc clusters create con i flag --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface per specificare l'interfaccia SSD locale per i nodi worker master, primari e secondari.

Esempio:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

<p>The following table lists the supported operating systems for the Google Cloud CLI. You can install the gcloud CLI on any of the following platforms.</p> <table> <thead> <tr> <th>Operating system</th> <th>Supported versions</th> </tr> </thead> <tbody> <tr> <td>Linux</td> <td> <ul> <li>Debian 10.0+</li> <li>Ubuntu 18.04+</li> <li>Red Hat Enterprise Linux 8+</li> <li>CentOS 8+</li> <li>Fedora 33+</li> <li>Rocky Linux 8+</li> </ul> </td> </tr> <tr> <td>macOS</td> <td> <ul> <li>macOS 10.15+</li> </ul> </td> </tr> <tr> <td>Windows</td> <td> <ul> <li>Windows 8.1+</li> <li>Windows Server 2012 R2+</li> </ul> </td> </tr> </tbody> </table>numLocalSsdsmasterConfigworkerConfigsecondaryWorkerConfigInstanceGroupConfigcluster.create

Le unità SSD locali possono essere collegate alle VM di Managed Service for Apache Spark utilizzando un'interfaccia SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (consulta le prestazioni delle unità SSD locali). L'interfaccia SSD locale predefinita della VM del cluster Managed Service for Apache Spark è l'interfaccia SCSI. Imposta il campo localSsdInterface in masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig in una richiesta API cluster.create per specificare l'interfaccia"SCSI " o"NVME" per collegare le unità SSD locali ai nodi master, worker primario e worker secondario del cluster.