Arrestare e avviare i cluster

Dopo aver creato un cluster, puoi interromperlo e riavviarlo quando ne hai bisogno. L'arresto di un cluster inattivo evita l'addebito di costi e la necessità di eliminare un cluster inattivo per poi crearne uno con la stessa configurazione in un secondo momento.

Note:

  • La funzionalità di avvio e arresto del cluster è disponibile sui cluster creati con immagini rilasciate a partire dalle seguenti versioni immagine:
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • L'arresto di singoli nodi del cluster non è consigliato, poiché lo stato di una VM arrestata potrebbe non essere sincronizzato con lo stato del cluster, il che può causare errori.
  • I cluster che utilizzano VM flessibili non possono utilizzare la funzionalità di avvio e arresto.

Arresto di un cluster

L'arresto di un cluster comporta l'arresto di tutte le VM di Compute Engine del cluster. Non paghi per le VM mentre sono arrestate. Tuttavia, continuerai a pagare per le risorse del cluster associate, ad esempio i Persistent Disk.

Note:

  • Operazioni in esecuzione: se un cluster ha operazioni in esecuzione, come operazioni di aggiornamento o diagnosi, la richiesta di arresto non andrà a buon fine.
  • Job in esecuzione: se un cluster ha job in esecuzione, la richiesta di arresto avrà esito positivo: le VM verranno arrestate e i job in esecuzione non andranno a buon fine.
  • Risposta di arresto: quando la richiesta di arresto restituisce un'operazione di arresto, il cluster si troverà in uno stato STOPPING e non sarà consentito l'invio di altri job (le richieste SubmitJob non andranno a buon fine).
  • Scalabilità automatica: se interrompi un cluster con la scalabilità automatica abilitata, il gestore della scalabilità automatica di Managed Service for Apache Spark interromperà la scalabilità del cluster. Riprenderà a scalare il cluster una volta riavviato. Se attivi la scalabilità automatica su un cluster arrestato, la policy di scalabilità automatica verrà applicata dopo il riavvio del cluster.

Monitoraggio dell'operazione di arresto

Puoi eseguire gcloud dataproc operations describe operation-id per monitorare l'operazione di arresto del cluster a lunga esecuzione. Puoi utilizzare il comando gcloud dataproc clusters describe cluster-name per monitorare la transizione dello stato del cluster da RUNNING a STOPPING a STOPPED.

Limitazioni

Avvio di un cluster

  • Quando riavvii un cluster arrestato, le azioni di inizializzazione non vengono eseguite di nuovo. Le azioni di inizializzazione vengono eseguite sui nodi del cluster solo quando il cluster viene creato o quando vengono aggiunti nodi durante lo scale up del cluster.

  • Una volta completata l'operazione di avvio, puoi inviare immediatamente i job al cluster. Tuttavia, l'esecuzione dei job può essere ritardata di circa 30 secondi per consentire a HDFS e YARN di diventare operativi.

Come arrestare e avviare un cluster

Puoi avviare e arrestare un cluster utilizzando la console Google Cloud , gcloud CLI o l'API Managed Service for Apache Spark.

ConsoleGoogle Cloud

  1. Fai clic sul nome del cluster nella pagina Cluster nella console Google Cloud .
  2. Nella pagina dei dettagli del cluster che si apre, fai clic su INTERROMPI per arrestare il cluster. Quando è tutto pronto per riprendere le operazioni del cluster, fai clic su AVVIA per riavviare il cluster.

gcloud CLI

Arresta un cluster

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

Avvia un cluster

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

API REST

Arresta un cluster

Invia una richiesta clusters.stop.

Avvia un cluster

Invia una richiesta clusters.start.