Per evitare di incorrere in addebiti diGoogle Cloud per un cluster inattivo o di dover eliminare e ricreare un cluster per evitare di incorrere in addebiti per il cluster, utilizza la funzionalità di arresto pianificato del cluster Managed Service for Apache Spark, che arresta tutte le VM del cluster. Non ti vengono addebitati costi per le VM arrestate, ma continuano gli addebiti per le risorse associate, ad esempio i Persistent Disk.
L'arresto di un cluster comporta l'arresto di tutte le VM del cluster e l'interruzione di tutti i job in esecuzione. Quando un cluster viene arrestato, non puoi aggiornarlo, inviare job al cluster o accedere ai componenti facoltativi sul cluster utilizzando il gateway dei componenti di Managed Service for Apache Spark. Dopo aver arrestato un cluster, puoi riavviarlo e riprendere il lavoro.
L'arresto programmato del cluster è disponibile per i cluster creati con le versioni immagine 2.2.42+, 2.1.76+, 2.0.57+ e successive.
Funzionalità
Puoi arrestare i cluster dopo un determinato periodo di inattività, in un momento futuro specificato o dopo un periodo di tempo specificato dalla richiesta di creazione del cluster.
L'arresto programmato del cluster supporta i cluster con worker secondari e i cluster con scalabilità zero.
Puoi aggiornare o annullare la configurazione dell'arresto programmato del cluster.
Limitazioni e considerazioni
- L'arresto programmato del cluster non è supportato per i cluster con SSD locali.
- Anche se puoi aggiornare la configurazione dell'arresto pianificato di un cluster, un'operazione di arresto avviata continuerà. Per verificare se l'operazione di arresto è iniziata, esamina i log del cluster in Cloud Logging.
- L'aggiornamento di una pianificazione di arresto su un cluster con un'ora di arresto pianificata passata rimuove la configurazione di arresto pianificato. Per riattivare l'arresto programmato, includi un'ora futura nella richiesta di aggiornamento.
Azioni che disattivano l'arresto pianificato del cluster
Mentre un cluster è in esecuzione, le seguenti azioni disattivano l'arresto programmato del cluster finché l'azione di disattivazione non viene annullata:
- Rimozione del ruolo IAM Managed Service for Apache Spark Service Agent dal service account Dataproc Service Agent
- Disattivazione dell'API Managed Service for Apache Spark nel progetto del cluster
- Attivazione dei Controlli di servizio VPC se il account di servizio dell'agente di servizio (identità del control plane) di Managed Service for Apache Spark non rientra nel confine del perimetro
Calcolo del tempo di inattività del cluster
Affinché un cluster sia considerato inattivo, devono essere soddisfatte le seguenti condizioni:
- la creazione del cluster è terminata (il tempo impiegato per il provisioning e l'avvio del cluster è escluso dal calcolo del tempo di inattività)
- nessun job è in esecuzione sul cluster
- il cluster non è in uno stato
STOPPED
L'invio di un job al cluster o l'arresto di un cluster reimposta il calcolo del tempo di inattività.
La proprietà del cluster dataproc:dataproc.cluster-ttl.consider-yarn-activity influisce sul calcolo del tempo di inattività del cluster, come segue:
- Questa proprietà è attivata (impostata su
true) per impostazione predefinita. - Quando questa proprietà è abilitata, l'attività dell'API Jobs di YARN e di Managed Service for Apache Spark deve essere inattiva per avviare e continuare a incrementare il calcolo del tempo di inattività del cluster.
- L'attività YARN include le applicazioni YARN in attesa e in esecuzione.
- L'attività dell'API Managed Service for Apache Spark Jobs include i job in attesa e in esecuzione inviati all'API Managed Service for Apache Spark Jobs.
- Quando questa proprietà è impostata su
false, il calcolo del tempo di inattività del cluster inizia e continua solo quando l'attività dell'API Managed Service for Apache Spark Jobs è inattiva.
Utilizza l'arresto pianificato del cluster
ConsoleGoogle Cloud
Puoi impostare i valori di arresto programmato quando crei un cluster utilizzando la console Google Cloud come segue:
- Apri la pagina Crea cluster.
- In Definisci le impostazioni di controllo dei costi, seleziona Imposta una policy di conservazione facoltativa per controllare i costi, quindi seleziona le impostazioni di arresto (o eliminazione) del cluster.
gcloud CLI
Puoi impostare i valori di arresto programmato quando crei un cluster utilizzando Google Cloud CLI o l'API Managed Service for Apache Spark. Dopo aver creato il cluster, puoi aggiornarlo per modificare o eliminare i valori di arresto pianificato del cluster impostati in precedenza.
| Flag | Descrizione | Granularità più elevata | Valore minimo | Valore massimo |
|---|---|---|---|---|
--stop-max-idle1 |
Si applica ai comandi di creazione e aggiornamento dei cluster.
La durata dal momento in cui il cluster entra nello stato inattivo (dopo la creazione o l'avvio) al momento in cui il cluster inizia ad arrestarsi.
Specifica la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (rispettivamente secondi, minuti, ore, giorni). Esempi: "30m" o "1d" (30 minuti o 1 giorno da quando il cluster diventa inattivo). |
1 secondo | 5 minuti | 14 giorni |
--no-stop-max-idle |
Si applica solo al comando di aggiornamento del cluster.
Annulla l'arresto pianificato del cluster impostato in precedenza dal flag --stop-max-idle |
Non applicabile | Non applicabile | Non applicabile |
--stop-expiration-time2 |
Si applica ai comandi di creazione e aggiornamento dei cluster. L'ora di inizio dell'arresto del cluster nel formato di data e ora ISO 8601. Puoi generare la data e l'ora nel formato corretto utilizzando il generatore di timestamp. Ad esempio, "2017-08-22T13:31:48-08:00" specifica una data di scadenza alle 13:21:48 nel fuso orario UTC -8:00. | 1 secondo | 10 minuti dall'ora corrente | 14 giorni dall'ora corrente |
--stop-max-age2 |
Si applica ai comandi di creazione e aggiornamento dei cluster.
La durata dal momento dell'invio della richiesta di creazione del cluster
al momento in cui il cluster inizia ad arrestarsi. Specifica la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (secondi, minuti, ore, giorni). Esempi: "30m": 30 minuti da adesso;
"1d": 1 giorno da adesso. |
1 secondo | 10 minuti | 14 giorni |
- Puoi passare il flag
stop-max-idlecon il flagstop-expiration-timeostop-max-agenella richiesta di creazione o aggiornamento del cluster. La prima che diventa vera ha l'effetto di arrestare il cluster. - Puoi passare il flag
stop-expiration-timeo il flagstop-max-ageal comando di creazione o aggiornamento del cluster, ma non entrambi.
Esempio di creazione di un cluster:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --stop-max-idle=DURATION \ --stop-expiration-time=TIME \ ... other flags ...
Esempio di aggiornamento del cluster:
Ad esempio:
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --stop-max-idle=DURATION \ --no-stop-max-age \ ... other flags
API REST
Puoi creare o aggiornare i valori di arresto pianificato su un cluster impostando i campi e i valori ClusterLifecycleConfig dell'API Managed Service for Apache Spark elencati nella tabella seguente nell'ambito di una richiesta API cluster.create o cluster.patch di Managed Service for Apache Spark.
| Flag | Descrizione | Granularità più elevata | Valore minimo | Valore massimo |
|---|---|---|---|---|
idleStopTtl1 |
Si applica ai comandi di creazione e aggiornamento dei cluster.
La durata dal momento in cui il cluster entra nello stato inattivo dopo la creazione o l'aggiornamento del cluster al momento in cui il cluster inizia ad arrestarsi.
Specifica una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".
Invia una richiesta cluster.patch con una durata vuota per annullare un valore idleDeleteTtl impostato in precedenza. |
1 secondo | 5 minuti |
14 giorni |
autoStopTime2 |
Si applica ai comandi di creazione e aggiornamento dei cluster. L'ora in cui iniziare ad arrestare il cluster. Fornisci un timestamp nel formato UTC "Zulu" RFC 3339, con precisione al nanosecondo. Esempio: "2014-10-02T15:01:23.045123456Z". | 1 secondo | 10 minuti dall'ora corrente | 14 giorni dall'ora corrente |
autoStopTtl2 |
La durata dal momento dell'invio della richiesta di creazione o aggiornamento del cluster al momento in cui il cluster inizia ad arrestarsi. Fornisci una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s". | 1 secondo | 10 minuti. Invia una richiesta cluster.patch con una durata vuota per annullare un valore autoStopTtl impostato in precedenza. |
14 giorni |
- Puoi passare il flag
stop-max-idlecon il flagstop-expiration-timeostop-max-agenella richiesta di creazione o aggiornamento del cluster. La prima che diventa vera ha l'effetto di arrestare il cluster. - Puoi passare il flag
stop-expiration-timeo il flagstop-max-ageal comando di creazione o aggiornamento del cluster, ma non entrambi.
Utilizzo dell'arresto programmato con l'eliminazione programmata
Se utilizzi sia l'arresto pianificato del cluster sia l'eliminazione pianificata del cluster, tieni presente i seguenti vincoli durante la creazione o l'aggiornamento di un cluster:
Il periodo
stop-max-idledeve essere inferiore o uguale al periododelete-max-idleo al periodo risultante dadelete-max-ageodelete-expiration-time.stop-max-ageestop-expiration-timedevono essere successive rispettivamente adelete-max-ageedelete-expiration-time.
Visualizza le impostazioni del cluster di arresto programmato
ConsoleGoogle Cloud
- Puoi visualizzare le impostazioni di arresto programmato del cluster selezionando il nome del cluster nella pagina Cluster di Managed Service for Apache Spark nella console Google Cloud .
- Nella pagina dei dettagli dei cluster, seleziona la scheda Configurazione. Vai all'elenco delle configurazioni del cluster per visualizzare le impostazioni di arresto pianificato.
gcloud CLI
Puoi utilizzare il comando gcloud dataproc clusters list per verificare che l'arresto programmato sia abilitato per un cluster.
gcloud dataproc clusters list \ --region=REGION
Esempio di output:
... NAME WORKER_COUNT ... SCHEDULED_STOP CLUSTER_ID NUMBER ... enabled ...
Puoi utilizzare il comando gcloud dataproc clusters describe per controllare le impostazioni di arresto programmato del cluster LifecycleConfig.
gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
Esempio di output:
... lifecycleConfig: autoStopTime: '2018-11-28T19:33:48.146Z' idleStopTtl: 1800s idleStartTime: '2018-11-28T18:33:48.146Z' ...
I valori autoStopTime e idleStopTtl vengono impostati dall'utente. Managed Service for Apache Spark genera il valore idleStartTime, che corrisponde all'ora di inizio dell'inattività del cluster più recente.
Mentre Managed Service for Apache Spark calcola idleStartTime in base alla cessazione dell'attività del job, il meccanismo per l'arresto programmato del cluster considera sia idleStartTime sia l'ora di inizio dell'ultimo avvio del cluster.
In particolare, se un cluster viene arrestato da un utente o da Managed Service for Apache Spark,
il calcolo dell'inattività per la funzionalità di arresto programmato viene reimpostato. Ciò significa che il conto alla rovescia per un arresto programmato riparte al successivo avvio del cluster. Tuttavia,
la idleStartTime stessa non viene reimpostata quando un cluster arrestato viene
riavviato. Continua a riflettere l'ultima occorrenza di inattività del job prima dell'interruzione.
Pertanto, affinché Managed Service for Apache Spark arresti un cluster in base a idleStopTtl, devono essere soddisfatte due condizioni:
- Il cluster deve essere rimasto inattivo per la durata specificata da
idleStopTtldall'ultimo avvio. - Il cluster deve essere rimasto inattivo per la durata specificata da
idleStopTtldall'ultimo reset diidleStartTime.
API REST
Puoi effettuare una richiesta clusters.list per confermare che un cluster ha l'arresto programmato abilitato.