Best practice per i tentativi di ripetizione dei job e i checkpoint

Le singole attività o persino le esecuzioni dei job possono non riuscire per vari motivi. Questa pagina contiene le best practice per gestire questi errori, incentrate sui riavvii delle attività e sui checkpoint dei job.

Utilizza i nuovi tentativi di esecuzione delle attività

Le singole attività del job possono non riuscire per vari motivi, tra cui problemi con le dipendenze delle applicazioni, le quote o persino gli eventi di sistema interni. Spesso questi problemi sono temporanei e l'attività avrà esito positivo dopo un nuovo tentativo.

Per impostazione predefinita, ogni attività verrà ripetuta automaticamente fino a 3 volte. In questo modo, un job verrà eseguito fino al completamento anche se si verificano errori temporanei delle attività. Puoi anche personalizzare il numero massimo di tentativi. Tuttavia, se modifichi l'impostazione predefinita, devi specificare almeno un nuovo tentativo.

Pianifica i riavvii delle attività dei job

Rendi i tuoi job idempotenti, in modo che il riavvio di un'attività non generi un output danneggiato o duplicato. In altre parole, scrivi una logica ripetibile che abbia lo stesso comportamento per un determinato insieme di input, indipendentemente dal numero di volte in cui viene ripetuta o dal momento in cui viene eseguita.

Scrivi l'output in una posizione diversa rispetto ai dati di input, lasciando intatti i dati di input. In questo modo, se il job viene eseguito di nuovo, può ripetere il processo dall'inizio e ottenere lo stesso risultato.

Evita di duplicare i dati di output riutilizzando lo stesso identificatore univoco o controllando se l'output esiste già. I dati duplicati rappresentano un danneggiamento dei dati a livello di raccolta.

Utilizza il checkpointing

Se possibile, utilizza il checkpointing durante la progettazione dei job. Se un'attività non riesce e viene riavviata, il checkpointing consente di riprenderla dall'ultimo stato salvato anziché ricominciare da capo, accelerando i tempi di esecuzione e riducendo al minimo i costi non necessari.

Per implementare il checkpointing:

  • Salva i progressi: scrivi periodicamente risultati parziali e indicatori di avanzamento in un'archiviazione permanente, come Cloud Storage o un database.

  • Controllo all'avvio: configura le attività in modo che cerchino e riprendano da questi risultati parziali all'avvio.

  • Abilita i nuovi tentativi: configura più nuovi tentativi per proteggere il job da eventi di prerilascio.

Se non è possibile creare un checkpoint per il job, suddividi il workload in blocchi più piccoli ed esegui un numero maggiore di attività.

Esempio di checkpoint 1: calcolo del pi greco

Se hai un job che esegue un algoritmo ricorsivo, ad esempio il calcolo di Pi con molte cifre decimali, e utilizza il parallelismo impostato su un valore pari a 1:

  • Scrivi i tuoi progressi ogni 10 minuti o in base alla tua tolleranza per il lavoro perso, in un oggetto Cloud Storage pi-progress.txt.
  • All'avvio di un'attività, esegui una query sull'oggetto pi-progress.txt e carica il valore come punto di partenza. Utilizza questo valore come input iniziale della funzione.
  • Scrivi il risultato finale in Cloud Storage come oggetto denominato pi-complete.txt per evitare la duplicazione tramite esecuzione parallela o ripetuta o pi-complete-DATE.txt per differenziare in base alla data di completamento.

Esempio di checkpoint 2: elaborazione di 10.000 record da Cloud SQL

Se hai un job che elabora 10.000 record in un database relazionale come Cloud SQL:

  • Recupera i record da elaborare con una query SQL come SELECT * FROM example_table LIMIT 10000
  • Scrivi i record aggiornati in batch di 100 in modo che il lavoro di elaborazione significativo non venga perso in caso di interruzione.
  • Quando i record vengono scritti, prendi nota di quelli che sono stati elaborati. Puoi aggiungere alla tabella una colonna booleana processed impostata su 1 solo se l'elaborazione è confermata.
  • All'avvio di un'attività, la query utilizzata per recuperare gli elementi da elaborare deve aggiungere la condizione processed = 0.
  • Oltre ai nuovi tentativi puliti, questa tecnica supporta anche la suddivisione del lavoro in attività più piccole, ad esempio modificando la query per selezionare 100 record alla volta: LIMIT 100 OFFSET $CLOUD_RUN_TASK_INDEX*100 ed eseguendo 100 attività per elaborare tutti i 10.000 record. CLOUD_RUN_TASK_INDEX è una variabile di ambiente integrata presente all'interno del container che esegue i job Cloud Run.

Utilizzando tutti questi elementi insieme, la query finale potrebbe avere il seguente aspetto: SELECT * FROM example_table WHERE processed = 0 LIMIT 100 OFFSET $CLOUD_RUN_TASK_INDEX*100

Esempio di checkpointing 3: checkpointing a livello di applicazione e nuovi tentativi di attività

I job abilitati per GPU possono essere configurati con un timeout delle attività fino a 12 ore, ma questo timeout è un valore massimo, non una garanzia di esecuzione ininterrotta. La manutenzione dell'infrastruttura riavvia regolarmente queste attività, quindi un'attività che viene eseguita per diverse ore dovrebbe essere riavviata almeno una volta. Per gestire questo problema senza perdere i progressi, utilizza il checkpoint a livello di applicazione insieme ai tentativi di ripetizione delle attività (--max-retries).

Quando un'attività viene riavviata, viene avviata in un container completamente nuovo (che reimposta completamente la memoria e la VRAM, impedendo eventuali perdite di memoria). All'avvio, lo script rileva automaticamente i checkpoint esistenti all'interno di una directory montata su Cloud Storage e riprende automaticamente dall'ultimo passaggio.

Per saperne di più, consulta questo esempio e il tutorial Progetta job GPU resilienti a lunga esecuzione.

Passaggi successivi