"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Proprietà Spark

Questo documento descrive le proprietà di Spark e come impostarle. Managed Service for Apache Spark utilizza le proprietà Spark per determinare le risorse di calcolo, memoria e disco da allocare al workload batch. Queste impostazioni della proprietà possono influire sul consumo e sul costo della quota del workload. Per maggiori informazioni, consulta Quote di Managed Service for Apache Spark e Prezzi di Managed Service for Apache Spark.

Imposta le proprietà del workload batch Spark

Puoi specificare le proprietà di Spark quando invii un workload batch di Managed Service for Apache Spark utilizzando la console Google Cloud , gcloud CLI o l'API Dataproc.

Console

Nella console Google Cloud , vai alla pagina Crea batch di Managed Service for Apache Spark.

Vai a Managed Service for Apache Spark Crea batch
Nella sezione Proprietà, fai clic su Aggiungi proprietà.
Inserisci Key (nome) e Value di una proprietà Spark supportata.

gcloud

Di seguito è riportato un esempio di invio di un batch con gcloud CLI. Più proprietà sono separate da virgole.

gcloud dataproc batches submit spark \
    --properties=spark.checkpoint.compress=true,spark.driver.cores=8  \
    --region=REGION \
    other args ...

API

Imposta RuntimeConfig.properties con le proprietà Spark supportate nell'ambito di una richiesta batches.create.

Proprietà Spark supportate

Managed Service for Apache Spark supporta la maggior parte delle proprietà Spark, ma non quelle relative a YARN e allo shuffling, come spark.master=yarn e spark.shuffle.service.enabled. Se il codice dell'applicazione Spark imposta una proprietà YARN o shuffle, l'applicazione non andrà a buon fine.

Proprietà dell'ambiente di runtime

Managed Service for Apache Spark supporta le seguenti proprietà Spark personalizzate per la configurazione dell'ambiente di runtime:

Proprietà	Descrizione
`spark.dataproc.driverEnv.ENVIRONMENT_VARIABLE_NAME`	Aggiungi `ENVIRONMENT_VARIABLE_NAME` al processo del driver. Puoi specificare più variabili di ambiente.
`spark.executorEnv.ENVIRONMENT_VARIABLE_NAME`	Aggiungi `ENVIRONMENT_VARIABLE_NAME` al processo dell'esecutore. Puoi specificare più variabili di ambiente.

Proprietà del livello

Proprietà	Descrizione	Predefinito
`dataproc.tier`	Il livello su cui viene eseguito un workload batch, `standard` o `premium` (vedi Livelli di Managed Service for Apache Spark). Le sessioni interattive vengono sempre eseguite nel livello Premium `dataproc.tier`. L'impostazione di questa proprietà del livello batch su `standard` imposta le proprietà del runtime e del livello delle risorse di Managed Service for Apache Spark sul livello `standard` (vedi proprietà di allocazione delle risorse). Se imposti questa proprietà del livello batch su `premium`, `spark.dataproc.engine` viene impostato su `lightningEngine` e `spark.dataproc.driver.compute.tier` e `spark.dataproc.executor.compute.tier` vengono impostati su `premium`. Puoi eseguire l'override della maggior parte delle impostazioni del livello batch impostate automaticamente, ma non di quelle del livello di computing impostate automaticamente per i batch che utilizzano runtime precedenti alla versione `3.0` (consulta le proprietà di allocazione delle risorse).	`standard`

Proprietà del motore e del runtime

Proprietà	Descrizione	Predefinito
`spark.dataproc.engine`	Il motore da utilizzare per eseguire il workload batch o la sessione interattiva: `lightningEngine` (vedi Lightning Engine) o il motore `default`. Workload batch: se selezioni la proprietà standard `dataproc.tier` per il tuo workload, questa proprietà viene impostata automaticamente su `default` e non può essere sostituita. Se selezioni `premium` `dataproc.tier` per il tuo workload, questa proprietà viene impostata automaticamente su `lightningEngine`, ma puoi modificare l'impostazione su `default`, se necessario. Sessioni interattive: questa impostazione viene configurata automaticamente su `default`, ma puoi modificarla in `lightningEngine`. Tieni presente che le sessioni interattive vengono sempre eseguite nel livello `premium`. Quando crei un profilo di runtime (modello di sessione) nella pagina Crea un profilo di runtime della console Google Cloud , il livello Premium e l'opzione Abilita il motore Lightning per accelerare le prestazioni (che imposta `spark.dataproc.engine=lightningEngine`) sono selezionati per impostazione predefinita.	Batch (livello Standard): `default` Batch (livello Premium): `lightningEngine` Sessioni: `default`
`spark.dataproc.lightningEngine.runtime`	Il runtime da utilizzare quando è selezionato Lightning Engine per un workload batch o una sessione interattiva: `default` o `native` (Esecuzione di query nativa).	`default`

Proprietà di allocazione delle risorse

Managed Service for Apache Spark supporta le seguenti proprietà Spark per la configurazione dell'allocazione delle risorse:

Proprietà	Descrizione	Predefinito	Esempi
`spark.driver.cores`	Il numero di core (vCPU) da allocare al driver Spark. Valori validi: `4`, `8`, `16`.	`4`
`spark.driver.memory`	La quantità di memoria da allocare al processo del driver Spark, specificata nel formato stringa di memoria JVM con un suffisso dell'unità di misura ("m", "g" o "t"). Memoria totale del driver per core del driver, incluso l'overhead della memoria del driver, che deve essere compresa tra `1024m` e `7424m` per il livello di computing Standard (`24576m` per il livello di computing Premium). Ad esempio, se `spark.driver.cores = 4`, allora `4096m <= spark.driver.memory + spark.driver.memoryOverhead <= 29696m`.		`512m`, `2g`
`spark.driver.memoryOverhead`	La quantità di memoria JVM aggiuntiva da allocare al processo del driver Spark, specificata nel formato stringa della memoria JVM con un suffisso dell'unità di dimensione ("m", "g" o "t"). Si tratta di memoria non heap associata a overhead JVM, stringhe interne e altri overhead nativi e include la memoria utilizzata da altri processi driver, come i processi driver PySpark, e la memoria utilizzata da altri processi non driver in esecuzione nel container. La dimensione massima della memoria del container in cui viene eseguito il driver è determinata dalla somma di `spark.driver.memoryOverhead` più `spark.driver.memory`. La memoria totale del driver per core del driver, incluso l'overhead della memoria del driver, deve essere compresa tra `1024m` e `7424m` per il livello di computing Standard (`24576m` per il livello di computing Premium). Ad esempio, se `spark.driver.cores = 4`, allora `4096m <= spark.driver.memory + spark.driver.memoryOverhead <= 29696m`.	10% della memoria del driver, ad eccezione dei workload batch PySpark, che per impostazione predefinita utilizzano il 40% della memoria del driver	`512m`, `2g`
`spark.dataproc.driver.compute.tier`	Il livello di computing da utilizzare sul driver. Il livello di computing Premium offre prestazioni per core più elevate, ma viene fatturato a una tariffa più alta.	standard	standard, premium
`spark.dataproc.driver.disk.size`	La quantità di spazio su disco allocata al driver, specificata con un suffisso dell'unità di misura ("k", "m", "g" o "t"). Deve essere almeno `250GiB`. Se sul driver è selezionato il livello di disco Premium, le dimensioni valide sono 375g, 750g, 1500g, 3000g, 6000g o 9000g. Se vengono selezionati il livello di disco Premium e 16 core del driver, la dimensione minima del disco è 750g.	`100GiB` per core	`1024g`, `2t`
`spark.dataproc.driver.disk.tier`	Il livello del disco da utilizzare per lo spazio di archiviazione locale e di shuffling sul driver. Il livello di disco Premium offre prestazioni migliori in termini di IOPS e throughput, ma viene fatturato a una tariffa più elevata. Se nel driver è selezionato il livello di disco Premium, è necessario selezionare anche il livello di computing Premium utilizzando `spark.dataproc.driver.compute.tier=premium` e specificare la quantità di spazio su disco utilizzando `spark.dataproc.executor.disk.size`. Se è selezionato il livello di disco Premium, il driver alloca ulteriori 50 GiB di spazio su disco per lo spazio di archiviazione di sistema, che non è utilizzabile dalle applicazioni utente.	standard	standard, premium
`spark.executor.cores`	Il numero di core (vCPU) da allocare a ogni esecutore Spark. Valori validi: `4`, `8`, `16`.	`4`
`spark.executor.memory`	La quantità di memoria da allocare a ogni processo di esecuzione Spark, specificata nel formato stringa di memoria JVM con un suffisso di unità di dimensione ("m", "g" o "t"). La memoria totale dell'esecutore per core dell'esecutore, incluso l'overhead della memoria dell'esecutore, deve essere compresa tra `1024m` e `7424m` per il livello di computing Standard (`24576m` per il livello di computing Premium). Ad esempio, se `spark.executor.cores = 4`, allora `4096m <= spark.executor.memory + spark.executor.memoryOverhead <= 29696m`.		`512m`, `2g`
`spark.executor.memoryOverhead`	La quantità di memoria JVM aggiuntiva da allocare al processo executor Spark, specificata nel formato stringa della memoria JVM con un suffisso dell'unità di dimensione ("m", "g" o "t"). Si tratta della memoria non heap utilizzata per gli overhead della JVM, le stringhe interne e altri overhead nativi. Include la memoria dell'esecutore PySpark e la memoria utilizzata da altri processi non esecutori in esecuzione nel container. La dimensione massima della memoria del container in cui viene eseguito l'esecutore è determinata dalla somma di `spark.executor.memoryOverhead` più `spark.executor.memory`. La memoria totale dell'esecutore per core dell'esecutore, incluso l'overhead della memoria dell'esecutore, deve essere compresa tra `1024m` e `7424m` per il livello di computing Standard (`24576m` per il livello di computing Premium). Ad esempio, se `spark.executor.cores = 4`, allora `4096m <= spark.executor.memory + spark.executor.memoryOverhead <= 29696m`.	10% della memoria dell'esecutore, ad eccezione dei workload batch PySpark, per i quali il valore predefinito è il 40% della memoria dell'esecutore	`512m`, `2g`
`spark.dataproc.executor.compute.tier`	Il livello di computing da utilizzare sugli esecutori. Il livello di computing Premium offre prestazioni per core più elevate, ma viene fatturato a una tariffa più alta.	standard	standard, premium
`spark.dataproc.executor.disk.size`	La quantità di spazio su disco allocato a ogni esecutore, specificata con un suffisso di unità di misura ("k", "m", "g" o "t"). Lo spazio su disco dell'esecutore può essere utilizzato per i dati di shuffling e per le dipendenze di gestione temporanea. Deve essere almeno `250GiB`. Se sull'esecutore è selezionato il livello di disco Premium, le dimensioni valide sono 375g, 750g, 1500g, 3000g, 6000g o 9000g. Se vengono selezionati il livello di disco Premium e 16 core dell'esecutore, la dimensione minima del disco è 750 g.	`100GiB` per core	`1024g`, `2t`
`spark.dataproc.executor.disk.tier`	Il livello del disco da utilizzare per l'archiviazione locale e di shuffle sugli esecutori. Il livello di disco Premium offre prestazioni migliori in termini di IOPS e throughput, ma viene fatturato a una tariffa più elevata. Se sull'esecutore è selezionato il livello di disco Premium, è necessario selezionare anche il livello di computing Premium utilizzando `spark.dataproc.executor.compute.tier=premium` e specificare la quantità di spazio su disco utilizzando `spark.dataproc.executor.disk.size`. Se è selezionato il livello di disco Premium, a ogni esecutore viene assegnato uno spazio su disco aggiuntivo di 50 GiB per lo spazio di archiviazione di sistema, che non è utilizzabile dalle applicazioni utente.	standard	standard, premium
`spark.executor.instances`	Il numero iniziale di esecutori da allocare. Dopo l'avvio di un workload batch, la scalabilità automatica potrebbe modificare il numero di esecutori attivi. Deve essere compreso tra `2` e `2000`.

Proprietà di scalabilità automatica

Consulta le proprietà di allocazione dinamica di Spark per un elenco delle proprietà Spark che puoi utilizzare per configurare la scalabilità automatica di Managed Service for Apache Spark.

Proprietà di Logging

Proprietà	Descrizione	Predefinito	Esempi
`spark.log.level`	Se impostato, sostituisce le impostazioni di log definite dall'utente con l'effetto di una chiamata a `SparkContext.setLogLevel()` all'avvio di Spark. I livelli di log validi includono: `ALL`, `DEBUG`, `ERROR`, `FATAL`, `INFO`, `OFF`, `TRACE` e `WARN`.		`INFO`, `DEBUG`
`spark.executor.syncLogLevel.enabled`	Se impostato su `true`, il livello di log applicato tramite il metodo `SparkContext.setLogLevel()` viene propagato a tutti gli esecutori.	`false`	`true`, `false`
`spark.log.level.PackageName`	Se impostato, esegue l'override di qualsiasi impostazione di log definita dall'utente con l'effetto di una chiamata a `SparkContext.setLogLevel(PackageName, level)` all'avvio di Spark. I livelli di log validi includono: `ALL`, `DEBUG`, `ERROR`, `FATAL`, `INFO`, `OFF`, `TRACE` e `WARN`.		`spark.log.level.org.apache.spark=error`

Proprietà di pianificazione

Proprietà	Descrizione	Predefinito	Esempi
`spark.scheduler.excludeShuffleSkewExecutors`	Escludi gli esecutori con asimmetria della mappa di shuffling durante la pianificazione, il che può ridurre i tempi di attesa per il recupero dello shuffling causati dall'asimmetria della scrittura dello shuffling.	`false`	`true`
`spark.scheduler.shuffleSkew.minFinishedTasks`	Numero minimo di attività di mappatura di shuffling completate su un esecutore da considerare come asimmetria.	`10`	`100`
`spark.scheduler.shuffleSkew.maxExecutorsNumber`	Numero massimo di esecutori da considerare come asimmetrici. Gli esecutori con asimmetria vengono esclusi dal round di pianificazione corrente.	5	`10`
`spark.scheduler.shuffleSkew.maxExecutorsRatio`	Rapporto massimo tra gli esecutori totali da trattare come asimmetria. Gli esecutori asimmetrici sono esclusi dalla pianificazione.	0,05	`0.1`
`spark.scheduler.shuffleSkew.ratio`	Un multiplo delle attività di mappatura di shuffle completate medie su un esecutore da trattare come asimmetria.	1,5	`2.0`

Altre proprietà

Proprietà	Descrizione
`dataproc.diagnostics.enabled`	Supportato solo nei runtime 2.3 e precedenti. Attiva questa proprietà per eseguire la diagnostica in caso di errore o annullamento di un workload batch. Se la diagnostica è abilitata, il workload batch continua a utilizzare le risorse di computing dopo il completamento del workload fino al termine della diagnostica. Un URI che rimanda alla posizione del file tar di diagnostica è elencato nel campo dell'API Batch.RuntimeInfo.diagnosticOutputUri.
`dataproc.gcsConnector.version`	Supportato solo nei runtime 2.3 e precedenti. Utilizza questa proprietà per eseguire l'upgrade a una versione del connettore Cloud Storage diversa dalla versione installata con la versione di runtime del workload batch.
`dataproc.sparkBqConnector.version`	Supportato solo nei runtime 2.3 e precedenti. Utilizza questa proprietà per eseguire l'upgrade a una versione del connettore Spark BigQuery diversa dalla versione installata con la versione di runtime del workload batch (consulta Utilizza il connettore BigQuery con Managed Service for Apache Spark).
`dataproc.profiling.enabled`	Supportato solo nei runtime 2.3 e precedenti. Imposta questa proprietà su `true` per attivare la profilazione per il workload di Managed Service for Apache Spark.
`dataproc.profiling.name`	Supportata solo nei runtime 2.3 e precedenti Utilizza questa proprietà per impostare il nome utilizzato per creare un profilo nel servizio Profiler.
`spark.jars`	Utilizza questa proprietà per impostare l'elenco separato da virgole di file JAR da includere nei classpath del driver e dell'esecutore
`spark.archives`	Utilizza questa proprietà per impostare l'elenco separato da virgole degli archivi da estrarre nella directory di lavoro di ciascun esecutore. Sono supportati i formati .jar, .tar.gz, .tgz e .zip. Per le sessioni interattive serverless, aggiungi questa proprietà durante la creazione di una sessione interattiva o di un profilo di runtime (modello di sessione).
`dataproc.artifacts.remove`	Utilizza questa proprietà per rimuovere gli artefatti predefiniti installati sui runtime di Managed Service for Apache Spark. Gli artefatti supportati sono `conscrypt`, `delta-lake`, `iceberg`, `rapids` e `spark-bigquery-connector`.