Pour compléter le disque de démarrage, vous pouvez associer des disques SSD locaux aux nœuds maîtres, aux nœuds de calcul principaux et aux nœuds de calcul secondaires de votre cluster. Lorsque des disques SSD locaux sont fournis au cluster, les données HDFS et les données temporaires, telles que les sorties de brassage, utilisent les disques SSD locaux au lieu du disque persistant de démarrage.
- Les SSD locaux peuvent offrir des temps de lecture et d'écriture plus rapides que les disques persistants (voir Performances des SSD locaux).
- La taille de 375 Go de chaque disque SSD local est fixe, mais vous pouvez associer plusieurs disques SSD locaux pour augmenter l'espace de stockage SSD (consultez À propos des disques SSD locaux).
- Chaque disque SSD local est installé sur
/mnt/<id>dans les nœuds de cluster Managed Service pour Apache Spark. - Les disques SSD locaux utilisent
ext4comme système de fichiers par défaut.
Utiliser des disques SSD locaux
ConsoleGoogle Cloud
Créez un cluster et associez des disques SSD locaux aux nœuds :
- Ouvrez la page Créer un cluster de Managed Service pour Apache Spark.
- Cliquez sur Configuration supplémentaire pour développer cette section.
- Modifiez les nœuds de calcul principaux et les nœuds de calcul secondaires pour configurer les paramètres des disques SSD locaux.
- Par défaut, les paramètres du nœud pilote (maître) sont identiques à ceux du nœud de calcul principal. Sous Configuration supplémentaire, vous pouvez cliquer sur Nœud pilote pour décocher la case Définir par défaut le nœud pilote sur la même configuration que le nœud de calcul principal, puis spécifier les paramètres du nœud pilote.
Commande gcloud CLI
Exécutez la commande gcloud dataproc clusters create avec les options --num-master-local-ssds, --num-workers-local-ssds et --num-secondary-worker-local-ssds pour associer des disques SSD locaux aux nœuds de calcul maître, principaux et secondaires du cluster.
Les disques SSD locaux peuvent être associés aux VM Managed Service pour Apache Spark à l'aide d'une interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express) (voir Performances des disques SSD locaux).
L'interface SSD locale par défaut de la VM du cluster Managed Service pour Apache Spark est l'interface SCSI. Exécutez la commande gcloud dataproc clusters create avec les options --master-local-ssd-interface, --worker-local-ssd-interface et --secondary-worker-local-ssd-interface pour spécifier l'interface de disque SSD local pour les nœuds de calcul maîtres, principaux et secondaires.
Exemple :
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
API REST
Définissez le champ numLocalSsds dans les objets InstanceGroupConfig masterConfig, workerConfig et secondaryWorkerConfig d'une requête API cluster.create pour associer des disques SSD locaux aux nœuds de calcul maître, principal et secondaire du cluster.
Les disques SSD locaux peuvent être associés aux VM Managed Service pour Apache Spark à l'aide d'une interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express) (voir Performances des disques SSD locaux).
L'interface SSD locale par défaut de la VM du cluster Managed Service pour Apache Spark est l'interface SCSI. Définissez le champ localSsdInterface dans les InstanceGroupConfig masterConfig, workerConfig et secondaryWorkerConfig d'une requête API cluster.create pour spécifier l'interface "SCSI" ou "NVME" afin d'associer des disques SSD locaux aux nœuds maître, aux nœuds de calcul principaux et aux nœuds de calcul secondaires du cluster.