Miglioramenti delle prestazioni di Managed Service for Apache Spark

Questo documento mostra come attivare i miglioramenti delle prestazioni di Spark di Managed Service for Apache Spark per aiutare i job di Managed Service for Apache Spark a elaborare più dati in meno tempo con costi ridotti.

I miglioramenti delle prestazioni di Managed Service for Apache Spark includono:

  • Miglioramenti di Spark Optimizer:
    • Regole dell'ottimizzatore scritte per piani Spark migliori
    • Prestazioni migliorate del connettore BigQuery di Managed Service for Apache Spark se utilizzato nei job Spark
  • Miglioramenti dell'esecuzione di Spark:
    • Miglioramenti del motore di esecuzione Spark

Altri miglioramenti delle prestazioni di Managed Service for Apache Spark: consulta la sezione sulla memorizzazione nella cache dei cluster di Managed Service for Apache Spark, che aiuta a ridurre il tempo impiegato per accedere ai dati in Cloud Storage.

Puoi attivare i miglioramenti delle prestazioni di Spark su un cluster o su un job Spark:

  • I miglioramenti delle prestazioni di Spark abilitati su un cluster si applicano, per impostazione predefinita, a tutti i job Spark eseguiti sul cluster, indipendentemente dal fatto che vengano inviati a Managed Service for Apache Spark o direttamente al cluster.

  • I miglioramenti delle prestazioni di Spark possono anche essere attivati o disattivati su un job inviato a Managed Service for Apache Spark. Le impostazioni di miglioramento delle prestazioni di Spark applicate a un job sostituiscono eventuali impostazioni in conflitto impostate a livello di cluster solo per il job specificato.

Prezzi

I miglioramenti delle prestazioni di Spark non comportano costi aggiuntivi. Si applicano i prezzi di Managed Service for Apache Spark standard.

Considerazioni

I miglioramenti delle prestazioni di Spark regolano le proprietà di Spark, tra cui le seguenti:

  • spark.sql.shuffle.partitions: i miglioramenti delle prestazioni di Spark impostano questa proprietà su 1000 per i cluster con versione immagine 2.2. Questa impostazione può rallentare i job di piccole dimensioni.
  • spark.dataproc.sql.catalog.file.index.stats.enabled: questa impostazione può causare condizioni di OOM (Out-Of-Memory) del driver se il conteggio delle partizioni Hive è elevato. La disattivazione di questa proprietà può risolvere la condizione OOM.

Abilita i miglioramenti durante la creazione del cluster

Puoi utilizzare la console Google Cloud , Google Cloud CLI e l'API Dataproc per attivare i miglioramenti delle prestazioni di Managed Service for Apache Spark quando crei un cluster Managed Service for Apache Spark con le versioni immagine 2.0.69+, 2.1.17+, 2.2.0+ e successive.

Console

  1. Nella console Google Cloud , apri la pagina Crea cluster.
  2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
  3. Modifica Personalizzazione e altro.
  4. Nella sezione Proprietà cluster, aggiungi le seguenti proprietà:
    • Per attivare i miglioramenti dell'ottimizzazione di Spark:
      1. Fai clic su + Aggiungi proprietà.
      2. Seleziona spark nell'elenco Prefisso.
      3. Inserisci spark.dataproc.enhanced.optimizer.enabled nel campo Chiave e true nel campo Valore.
    • Per attivare i miglioramenti dell'esecuzione di Spark:
      1. Fai clic su + Aggiungi proprietà.
      2. Seleziona spark nell'elenco Prefisso.
      3. Inserisci spark.dataproc.enhanced.execution.enabled nel campo Chiave e true nel campo Valore.
  5. Completa gli altri campi del cluster, quindi fai clic su Crea cluster.

gcloud

  1. Esegui il seguente comando gcloud dataproc clusters create localmente in una finestra del terminale o in Cloud Shell.

    gcloud dataproc clusters create CLUSTER_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --image-version=IMAGE \
    --properties=PROPERTIES

    Note:

    • CLUSTER_NAME: il nome del cluster, che deve essere univoco all'interno di un progetto. Il nome deve iniziare con una lettera minuscola e può contenere fino a 51 lettere minuscole, numeri e trattini. Non può terminare con un trattino. Il nome di un cluster eliminato può essere riutilizzato.
    • PROJECT_ID: il progetto da associare al cluster.
    • REGION: la regione di Compute Engine in cui si troverà il cluster, ad esempio us-central1.
      • Puoi aggiungere il flag facoltativo --zone=ZONE per specificare una zona all'interno della regione specificata, ad esempio us-central1-a. Se non specifichi una zona, la funzionalità di posizionamento automatico della zona di Managed Service for Apache Spark seleziona una zona con la regione specificata.
    • IMAGE: i miglioramenti delle prestazioni di ottimizzazione ed esecuzione di Managed Service for Apache Spark sono disponibili nelle versioni immagine 2.0.69+ e 2.1.17+ di Managed Service for Apache Spark e nelle release successive. Se ometti questo flag, Managed Service for Apache Spark selezionerà l'ultima versione secondaria dell'immagine Managed Service for Apache Spark predefinita per il cluster (consulta Versione predefinita dell'immagine Managed Service for Apache Spark).

    • PROPERTIES:

      • Per attivare i miglioramenti dell'ottimizzazione di Spark, specifica:
      spark:spark.dataproc.enhanced.optimizer.enabled=true
      • Per attivare i miglioramenti dell'esecuzione di Spark, specifica:
      spark:spark.dataproc.enhanced.execution.enabled=true
      • Per attivare i miglioramenti dell'ottimizzazione e dell'esecuzione di Spark, specifica:
      spark:spark.dataproc.enhanced.optimizer.enabled=true,spark:spark.dataproc.enhanced.execution.enabled=true

API

  1. Specifica quanto segue SoftwareConfig.properties come parte di una richiesta clusters.create:

    • Per attivare i miglioramenti dell'ottimizzazione di Spark, specifica:
    "spark:spark.dataproc.enhanced.optimizer.enabled": "true"
    • Per attivare i miglioramenti dell'esecuzione di Spark, specifica:
    "spark:spark.dataproc.enhanced.execution.enabled": "true"
    • Per attivare i miglioramenti dell'ottimizzazione e dell'esecuzione di Spark, specifica:
    "spark:spark.dataproc.enhanced.optimizer.enabled": "true","spark:spark.dataproc.enhanced.execution.enabled": "true"

Attiva o disattiva i miglioramenti al momento dell'invio del job

Puoi utilizzare la console Google Cloud , Google Cloud CLI e l'API Dataproc per attivare o disattivare i miglioramenti delle prestazioni di Spark su un job Spark inviato a Managed Service for Apache Spark.

Console

  1. Nella console Google Cloud , apri la pagina Job.
  2. Nella pagina Job, fai clic su Invia job, quindi scorri fino alla sezione Proprietà del job.
    1. Per attivare i miglioramenti dell'ottimizzazione di Spark:
      1. Fai clic su + Aggiungi proprietà. Aggiungi "spark.dataproc.enhanced.optimizer.enabled" nel campo Chiave e "true" nel campo Valore.
    2. Per attivare i miglioramenti dell'esecuzione di Spark:
      1. Fai clic su + Aggiungi proprietà.
      2. Aggiungi "spark.dataproc.enhanced.execution.enabled" nel campo Chiave e "true" nel campo Valore.
  3. Completa la compilazione o la conferma degli altri campi di invio del job, quindi fai clic su Invia.

gcloud

  1. Esegui il seguente comando gcloud dataproc jobs submit in locale in una finestra del terminale o in Cloud Shell.

    gcloud dataproc jobs submit SPARK_JOB_TYPE \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --properties=PROPERTIES

    Note:

    • SPARK_JOB_TYPE: specifica spark, pyspark, spark-sql o spark-r .
    • CLUSTER_NAME: il nome del job in cui verrà eseguito il job.
    • REGION: la regione in cui si trova il cluster.

    • PROPERTIES:

      • Per attivare i miglioramenti dell'ottimizzazione di Spark, specifica:
      spark.dataproc.enhanced.optimizer.enabled=true
      • Per attivare i miglioramenti dell'esecuzione di Spark, specifica:
      spark.dataproc.enhanced.execution.enabled=true
      • Per attivare i miglioramenti dell'ottimizzazione e dell'esecuzione di Spark, specifica:
      spark.dataproc.enhanced.optimizer.enabled=true,spark.dataproc.enhanced.execution.enabled=true

API

  1. Specifica i seguenti properties per un SparkJob, PySparkJob, SparkSqlJob o SparkRJob come parte di una richiesta jobs.submit:

    • Per attivare i miglioramenti dell'ottimizzazione di Spark, specifica:
    "spark.dataproc.enhanced.optimizer.enabled=true"
    • Per attivare i miglioramenti dell'esecuzione di Spark, specifica:
    "spark.dataproc.enhanced.execution.enabled=true"
    • Per attivare i miglioramenti dell'ottimizzazione e dell'esecuzione di Spark, specifica:
    "spark.dataproc.enhanced.execution.enabled=true,spark.dataproc.enhanced.optimizer.enabled=true"