"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Risolvere i problemi di creazione del cluster

Questo documento spiega i messaggi di errore comuni relativi alla creazione dei cluster e fornisce suggerimenti sulla risoluzione dei problemi di creazione dei cluster.

Messaggi di errore comuni relativi alla creazione dei cluster

Utente non autorizzato ad agire come service account

Causa: l'entità che tenta di creare il cluster Managed Service for Apache Spark non dispone delle autorizzazioni necessarie per utilizzare il account di servizio specificato. Gli utenti di Managed Service for Apache Spark devono disporre dell'autorizzazione ActAs del service account per eseguire il deployment delle risorse di Managed Service for Apache Spark; questa autorizzazione è inclusa nel ruolo Utente account di servizio (roles/iam.serviceAccountUser) (consulta Ruoli di Managed Service for Apache Spark).

Soluzione: identifica l'utente o il service account che sta tentando di creare il cluster Managed Service for Apache Spark. Concedi a questa entità il ruolo Utente service account (roles/iam.serviceAccountUser) nel account di servizio che il cluster è configurato per utilizzare (in genere, il service account della VM di Managed Service for Apache Spark).
Operazione scaduta: sono in esecuzione solo 0 dei 2 nodi dati/gestori di nodi minimi richiesti.

Causa: il nodo controller non è in grado di creare il cluster perché non può comunicare con i nodi worker.

Soluzione:
- Controlla gli avvisi relativi alle regole firewall.
- Assicurati che siano state impostate le regole firewall corrette. Per saperne di più, consulta Panoramica delle regole firewall predefinite di Managed Service for Apache Spark.
- Esegui un test di connettività nella console Google Cloud per determinare cosa blocca la comunicazione tra il controller e i nodi worker.
Autorizzazione compute.subnetworks.use obbligatoria per projects/{projectId}/regions/{region}/subnetworks/{subnetwork}

Causa: questo errore può verificarsi quando tenti di configurare un cluster Managed Service for Apache Spark utilizzando una rete VPC in un altro progetto e il account di servizio agente di servizio di Managed Service for Apache Spark non dispone delle autorizzazioni necessarie nel progetto VPC condiviso che ospita la rete.

Soluzione: segui i passaggi elencati in Crea un cluster che utilizza una rete VPC in un altro progetto.
La zona projects/zones/{zone} non dispone di risorse sufficienti per soddisfare la richiesta (resource type:compute)

Causa: la zona utilizzata per creare il cluster non dispone di risorse sufficienti.

Soluzione:
- Utilizza la funzionalità di posizionamento automatico della zona di Managed Service for Apache Spark per creare il cluster in una qualsiasi delle zone di una regione con risorse disponibili.
- Crea il cluster in un'altra zona.
Errori di superamento quota

Quota CPUS/CPUS_ALL_REGIONS insufficiente
Quota "DISKS_TOTAL_GB" insufficiente
Quota "IN_USE_ADDRESSES" insufficiente

Causa: la richiesta di CPU, disco o indirizzo IP supera la quota disponibile.

Soluzione: richiedi una quota aggiuntiva dalla consoleGoogle Cloud .
Azione di inizializzazione non riuscita

Causa: l'installazione dell'azione di inizializzazione fornita durante la creazione del cluster non è riuscita.

Soluzione:
- Consulta le considerazioni e le linee guida per le azioni di inizializzazione.
- Esamina i log di output. Il messaggio di errore dovrebbe fornire un link ai log in Cloud Storage.
Impossibile inizializzare il nodo CLUSTER-NAME-m. … Visualizza l'output in: <gs://PATH_TO_STARTUP_SCRIPT_OUTPUT>

Causa: impossibile inizializzare il nodo del controller del cluster Managed Service for Apache Spark.

Soluzione:
- Esamina i log di output dello script di avvio elencati nel messaggio di errore (gs://PATH_TO_STARTUP_SCRIPT_OUTPUT) e verifica la causa dell'inizializzazione del nodo non riuscita.
- Le cause possono includere problemi di configurazione di rete del cluster Managed Service for Apache Spark e installazione non riuscita delle dipendenze dei pacchetti Python.
- Se il problema non viene risolto dopo aver esaminato i log dello script di avvio, risolto eventuali problemi lato utente e riprovato con il backoff esponenziale, contatta l'Assistenza Google Cloud.
Creazione del cluster non riuscita: spazio degli indirizzi IP esaurito

Causa: lo spazio degli indirizzi IP necessario per eseguire il provisioning dei nodi del cluster richiesti non è disponibile.

Soluzione:
- Crea un cluster con un numero inferiore di nodi worker, ma con un tipo di macchina più grande.
- Crea un cluster su una subnet o una rete diversa.
- Riduci l'utilizzo della rete per liberare spazio per gli indirizzi IP.
- Attendi che sia disponibile spazio IP sufficiente sulla rete.

Messaggio di errore dello script di inizializzazione: il repository REPO_NAME non ha più un file Release

Causa: il repository di backport Debian oldstable è stato eliminato.

Soluzione:

Aggiungi il seguente codice prima del codice che esegue apt-get nello script di inizializzazione.

oldstable=$(curl -s https://deb.debian.org/debian/dists/oldstable/Release | awk '/^Codename/ {print $2}');
stable=$(curl -s https://deb.debian.org/debian/dists/stable/Release | awk '/^Codename/ {print $2}');

matched_files="$(grep -rsil '\-backports' /etc/apt/sources.list*)"
if [[ -n "$matched_files" ]]; then
  for filename in "$matched_files"; do
    grep -e "$oldstable-backports" -e "$stable-backports" "$filename" || \
      sed -i -e 's/^.*-backports.*$//' "$filename"
  done
fi

Timeout waiting for instance DATAPROC_CLUSTER_VM_NAME to report in o Network is unreachable: dataproccontrol-REGION.googleapis.com

Causa: questi messaggi di errore indicano che la configurazione di rete del cluster Managed Service for Apache Spark è incompleta: potrebbe mancare la route al gateway internet predefinito o le regole firewall.

Soluzione:

Per risolvere il problema, puoi creare i seguenti test di connettività:
- Crea un test di connettività tra due VM del cluster Managed Service for Apache Spark. Il risultato di questo test ti aiuterà a capire se le regole firewall di autorizzazione in entrata o in uscita della tua rete si applicano correttamente alle VM del cluster.
- Crea un test di connettività tra una VM del cluster Managed Service for Apache Spark e un indirizzo IP dell'API di controllo di Managed Service for Apache Spark attuale. Per ottenere un indirizzo IP dell'API di controllo di Managed Service for Apache Spark corrente, utilizza il seguente comando:
```
dig dataproccontrol-REGION.googleapis.com A
```
Utilizza uno degli indirizzi IPv4 nella sezione della risposta dell'output.

Il risultato dei Connectivity Tests ti aiuterà a capire se la route al gateway internet predefinito e il firewall di autorizzazione in uscita sono configurati correttamente.

In base ai risultati di Connectivity Tests:
- Aggiungi una route a internet alla rete VPC del cluster: 0.0.0.0/0 per IPv4 e ::/0 per IPv6 con --next-hop-gateway=default-internet-gateway.
- Aggiungi regole firewall per il controllo degli accessi.
Errore dovuto all'aggiornamento

Causa: il cluster ha accettato un job inviato al servizio Managed Service for Apache Spark, ma non è stato possibile fare lo scale up o lo scale down manualmente o tramite la scalabilità automatica. Questo errore può anche essere causato da una configurazione del cluster non standard.

Soluzione:
- Ripristino del cluster: apri un ticket di assistenza, includi un file tar di diagnostica e chiedi di ripristinare lo stato IN ESECUZIONE del cluster.
- Nuovo cluster: ricrea il cluster con la stessa configurazione. Questa soluzione può essere più rapida di un reset fornito dall'assistenza.

Suggerimenti per la risoluzione dei problemi del cluster

Questa sezione fornisce indicazioni aggiuntive sulla risoluzione dei problemi comuni che possono impedire la creazione di cluster Managed Service for Apache Spark.

Quando il provisioning di un cluster Managed Service for Apache Spark non va a buon fine, spesso viene generato un messaggio di errore generico o viene segnalato uno stato PENDING o PROVISIONING prima dell'errore. La chiave per diagnosticare e risolvere i problemi di errore del cluster è esaminare i log del cluster e valutare i punti di errore comuni.

Sintomi più comuni

Di seguito sono riportati i sintomi comuni associati agli errori di creazione dei cluster:

Lo stato del cluster rimane PENDING o PROVISIONING per un periodo di tempo prolungato.
Il cluster passa allo stato ERROR.
Errori generici dell'API durante la creazione del cluster, ad esempio Operation timed out.
Messaggi di errore registrati o di risposta dell'API, ad esempio:
- RESOURCE_EXHAUSTED: relative alle quote di CPU, disco o indirizzi IP
- Instance failed to start
- Permission denied
- Unable to connect to service_name.googleapis.com o Could not reach required Google APIs
- Connection refused o network unreachable
- Errori relativi a errori delle azioni di inizializzazione, ad esempio errori di esecuzione degli script e file non trovato.

Esamina i log del cluster

Un passaggio iniziale importante per diagnosticare gli errori di creazione dei cluster è esaminare i log dettagliati dei cluster disponibili in Cloud Logging.

Vai a Esplora log: apri Esplora log nella console Google Cloud .
Filtra per i cluster Managed Service for Apache Spark:
- Nel menu a discesa Risorsa, seleziona Cloud Managed Service for Apache Spark Cluster.
- Inserisci cluster_name e project_id. Puoi anche filtrare per location (regione).
Esamina le voci di log:
- Cerca i messaggi di livello ERROR o WARNING che si verificano in un momento vicino a quello della mancata creazione del cluster.
- Presta attenzione ai log dei componenti master-startup, worker-startup e agent per informazioni sui problemi a livello di VM o dell'agente Managed Service for Apache Spark.
- Per informazioni sui problemi relativi al tempo di avvio delle VM, filtra i log in base a resource.type="gce_instance" e cerca i messaggi dai nomi delle istanze associati ai nodi del cluster, ad esempio CLUSTER_NAME-m o CLUSTER_NAME-w-0. I log della console seriale possono rivelare problemi di configurazione di rete, problemi del disco ed errori degli script che si verificano nelle prime fasi del ciclo di vita della VM.

Cause comuni di errori del cluster e suggerimenti per la risoluzione dei problemi

Questa sezione illustra i motivi più comuni per cui la creazione di un cluster Managed Service for Apache Spark potrebbe non riuscire e fornisce suggerimenti per la risoluzione dei problemi relativi ai cluster.

Autorizzazioni IAM insufficienti

Il service account VM utilizzato dal cluster Managed Service for Apache Spark deve disporre dei ruoli IAM appropriati per eseguire il provisioning delle istanze Compute Engine, accedere ai bucket Cloud Storage, scrivere log e interagire con altri servizi Google Cloud .

Ruolo Worker obbligatorio: verifica che il account di servizio della VM abbia il ruolo Managed Service for Apache Spark Worker (roles/dataproc.worker). Questo ruolo dispone delle autorizzazioni minime richieste per Managed Service for Apache Spark per gestire le risorse del cluster.
Autorizzazioni di accesso ai dati: se i tuoi job leggono o scrivono su Cloud Storage o BigQuery, il account di servizio deve disporre dei ruoli correlati, ad esempio Storage Object Viewer, Storage Object Creator o Storage Object Admin per Cloud Storage o BigQuery Data Viewer o BigQuery Editor per BigQuery.
Autorizzazioni di logging: il account di servizio deve avere un ruolo con le autorizzazioni necessarie per scrivere i log in Cloud Logging, ad esempio il ruolo Logging Writer.