Bucket temporanei e di staging di Managed Service per Apache Spark

Quando crei un cluster, HDFS viene utilizzato come file system predefinito. Puoi eseguire l'override di questo comportamento impostando defaultFS come bucket Cloud Storage. Per impostazione predefinita, Managed Service for Apache Spark crea anche un bucket di staging e un bucket gestione temporanea di Cloud Storage nel tuo progetto o riutilizza i bucket di staging e temporanei creati da Managed Service for Apache Spark dalle richieste di creazione di cluster precedenti.

Se non specifichi un bucket di gestione temporanea o gestione temporanea durante la creazione di un cluster, Managed Service for Apache Spark imposta una località Cloud Storage negli Stati Uniti, in Asia o nell'UE per i bucket di gestione temporanea e temporanei del cluster in base alla zona di Compute Engine in cui viene eseguito il deployment del cluster, quindi crea e gestisce questi bucket per località a livello di progetto. I bucket temporanei e di staging creati da Managed Service for Apache Spark sono condivisi tra i cluster nella stessa regione e vengono creati con una durata della conservazione con eliminazione temporanea di Cloud Storage impostata su 0 secondi. Se specifichi i tuoi bucket di gestione temporanea e temporanei, valuta la possibilità di ottimizzare la conservazione dell'eliminazione temporanea per ridurre i costi di archiviazione sostenuti per gli oggetti eliminati temporaneamente.

Il bucket temporaneo contiene dati temporanei e ha un TTL di 90 giorni. Il bucket di gestione temporanea, che può contenere dati di configurazione e file di dipendenza necessari per più cluster, non ha un TTL. Tuttavia, puoi applicare una regola del ciclo di vita ai file di dipendenza (file con estensione ".jar" che si trovano nella cartella del bucket di gestione temporanea) per pianificare la rimozione dei file di dipendenza quando non sono più necessari ai cluster.

Crea i tuoi bucket di gestione temporanea e temporanei

Anziché fare affidamento sulla creazione di un bucket di staging e gestione temporanea predefinito, puoi specificare bucket Cloud Storage esistenti che Managed Service for Apache Spark utilizzerà come bucket di staging e gestione temporanea del cluster.

ConsoleGoogle Cloud

Per specificare o selezionare il bucket di gestione temporanea del cluster:

  1. Apri la pagina Crea cluster.
  2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
  3. Modifica Personalizzazione e altro.
  4. Nel riquadro che si apre, specifica un bucket nella sezione Bucket di gestione temporanea di Cloud Storage.

Nota: la specifica di un bucket temporaneo tramite la console Google Cloud non è supportata.

gcloud CLI

Esegui il comando gcloud dataproc clusters create con i flag --bucket e/or --temp-bucket localmente in una finestra del terminale o in Cloud Shell per specificare il bucket di gestione temporanea e/o temporaneo del cluster.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --bucket=bucket-name \
    --temp-bucket=bucket-name \
    other args ...

API REST

Utilizza i campi ClusterConfig.configBucket e ClusterConfig.tempBucket in una richiesta clusters.create per specificare i bucket di gestione temporanea e temporanei del cluster.

Managed Service for Apache Spark utilizza una struttura di cartelle definita per i bucket Cloud Storage collegati ai cluster e supporta anche il collegamento di più cluster a un bucket. La struttura delle cartelle utilizzata per salvare l'output del driver dei job in Cloud Storage è la seguente:

cloud-storage-bucket-name
  - google-cloud-dataproc-metainfo
    - list of cluster IDs
        - list of job IDs
          - list of output logs for a job

Puoi utilizzare lo strumento a riga di comando gcloud, l'API Dataproc o la consoleGoogle Cloud per elencare il nome dei bucket di gestione temporanea e temporanei di un cluster.

ConsoleGoogle Cloud

  • Puoi visualizzare i dettagli del cluster, incluso il nome del bucket di gestione temporanea del cluster, nella pagina Cluster della console Google Cloud .
  • Nella pagina Browser Cloud Storage della console Google Cloud , filtra i risultati che contengono "dataproc-temp-".

gcloud CLI

Esegui il comando gcloud dataproc clusters describe localmente in una finestra del terminale o in Cloud Shell. I bucket di gestione temporanea e temporanei associati al cluster sono elencati nell'output.

gcloud dataproc clusters describe cluster-name \
    --region=region \
...
clusterName: cluster-name
clusterUuid: daa40b3f-5ff5-4e89-9bf1-bcbfec ...
config:
    configBucket: dataproc-...
    ...
    tempBucket: dataproc-temp...

API REST

Chiama clusters.get per elencare i dettagli del cluster, inclusi i nomi dei bucket di gestione temporanea e temporanei del cluster.

{
 "projectId": "vigilant-sunup-163401",
 "clusterName": "cluster-name",
 "config": {
  "configBucket": "dataproc-...",
...
  "tempBucket": "dataproc-temp-...",
}

defaultFS

Puoi impostare core:fs.defaultFS su una località del bucket in Cloud Storage (gs://defaultFS-bucket-name) per impostare Cloud Storage come file system predefinito. In questo modo, anche core:fs.gs.reported.permissions, l'autorizzazione segnalata restituita dal connettore Cloud Storage per tutti i file, viene impostata su 777.

Se Cloud Storage non è impostato come file system predefinito, verrà utilizzato HDFS e la proprietà core:fs.gs.reported.permissions restituirà 700, il valore predefinito.

gcloud dataproc clusters create cluster-name \
    --properties=core:fs.defaultFS=gs://defaultFS-bucket-name \
    --region=region \
    --bucket=staging-bucket-name \
    --temp-bucket=temp-bucket-name \
    other args ...