Interfacce web del cluster

Evita le vulnerabilità di sicurezza.

Le porte aperte e le regole firewall configurate in modo errato su una rete pubblica possono consentire a utenti non autorizzati di eseguire codice arbitrario.^*

Consulta Specifica un intervallo IP di origine per le regole firewall della subnet

Crea un tunnel SSH per stabilire una connessione sicura all'istanza master del cluster.

Apache Hadoop YARN fornisce API REST che condividono le stesse porte delle interfacce web YARN (porta predefinita 8088). Per impostazione predefinita, gli utenti che possono accedere all'interfaccia web di YARN possono creare applicazioni, inviare job e potrebbero essere in grado di eseguire operazioni di Cloud Storage Storage.Consulta API REST di YARN Resource Manager consentite per informazioni sull'impostazione dei metodi API REST di YARN Resource Manager consentiti.

Utilizza il gateway dei componenti per connetterti alle interfacce web dei componenti principali e facoltativi. I cluster creati con Managed Service for Apache Spark versione immagine 1.3.29 e successive possono installare e abilitare l'accesso alle interfacce web dei componenti, tra cui le UI di YARN, HDFS, Jupyter e Zeppelin, senza fare affidamento su tunnel SSH o modificare le regole firewall per consentire il traffico in entrata. Per saperne di più, consulta Gateway dei componenti di Managed Service for Apache Spark.

Consulta Accedi tramite SSH a un cluster Managed Service for Apache Spark per aprire una sessione SSH sul nodo master di un cluster Managed Service for Apache Spark.

Interfacce disponibili

Le seguenti interfacce sono disponibili su un nodo master del cluster Managed Service for Apache Spark (sostituisci master-host-name con il nome del tuo nodo master).

Il master-host-name del cluster è il nome del tuo cluster Managed Service for Apache Spark seguito dal suffisso -m, ad esempio, se il cluster si chiama "my-cluster", il master-host-name sarà "my-cluster-m".

UI web	Porta	URL
YARN ResourceManager	8088^1	http://master-host-name:8088
NameNode HDFS	9870^2,3	http://master-host-name:9870

¹ Sui cluster abilitati per Kerberos, la porta della UI web di YARN ResourceManager è 8090 ed è in esecuzione su HTTPS.

² Sui cluster abilitati per Kerberos, la porta dell'interfaccia utente web del NameNode HDFS è 9871 e viene eseguita su HTTPS.

³ Nelle versioni precedenti di Managed Service for Apache Spark (pre-1.2), la porta dell'interfaccia utente web del NameNode HDFS era 50070.

Il ResourceManager di YARN contiene i link per tutte le interfacce web delle applicazioni MapReduce e Spark attualmente in esecuzione e completate nella colonna "Tracking UI".

API REST di YARN ResourceManager consentite

Quando crei un cluster, Managed Service for Apache Spark imposta la proprietà yarn-site.xml yarn.resourcemanager.webapp.methods-allowed su "GET,HEAD", che limita i metodi HTTP che possono essere chiamati nell'interfaccia utente web di YARN Resource Manager e nelle API REST ai metodi GET e HEAD. Questa impostazione predefinita disattiva anche l'invio e le modifiche dei job tramite l'API REST YARN.

Puoi eseguire l'override dei valori predefiniti per attivare metodi HTTP specifici sulla porta 8088 impostando questa proprietà su uno o più nomi di metodi HTTP separati da virgole. Un valore ALL consentirà tutti i metodi HTTP sulla porta.

Esempio:

gcloud dataproc clusters create cluster-name \
    --properties=^#^yarn:yarn.resourcemanager.webapp.methods-allowed=GET,POST,DELETE \
    --region=region \

Suggerimento: se imposti questa proprietà per consentire metodi HTTP non predefiniti, assicurati di configurare le regole firewall e altre impostazioni di sicurezza per limitare l'accesso alla porta 8088.

Connettiti alle interfacce web

Puoi connetterti alle interfacce web in esecuzione su un cluster Managed Service for Apache Spark utilizzando il gateway dei componenti di Managed Service for Apache Spark, Cloud Shell del tuo progetto o lo strumento a riga di comando gcloud di Google Cloud CLI:

• Gateway dei componenti: connettiti con un solo clic alle interfacce UI web di Hadoop, Spark e altri componenti dalla console Google Cloud . Puoi attivare il gateway dei componenti quando crei il cluster.

• Cloud Shell: Cloud Shell nella console Google Cloud ha i comandi e le utilità gcloud CLI preinstallati e fornisce una funzionalità di anteprima web che ti consente di connetterti rapidamente tramite un tunnel SSH a una porta dell'interfaccia web su un cluster. Tuttavia, una connessione al cluster da Cloud Shell utilizza il port forwarding locale, che apre una connessione a una sola porta su un'interfaccia web del cluster. Sono necessari più comandi per connettersi a più porte. Inoltre, le sessioni di Cloud Shell terminano automaticamente dopo un periodo di inattività (30 minuti).

• Google Cloud CLI: il comando gcloud compute ssh con port forwarding dinamico consente di stabilire un tunnel SSH ed eseguire un server proxy SOCKS sul tunnel. Dopo aver eseguito questo comando, devi configurare il browser locale in modo che utilizzi il proxy SOCKS. Questo metodo di connessione ti consente di connetterti a più porte su un'interfaccia web del cluster. Consulta Posso utilizzare il port forwarding locale anziché un proxy SOCKS? per saperne di più.

Imposta le variabili di comando di uso comune

Per semplificare la copia e l'esecuzione di esempi di riga di comando sulla tua macchina locale o in Cloud Shell, imposta le variabili di comando gcloud dataproc. Per alcuni degli esempi di comandi mostrati in questa pagina potrebbe essere necessario impostare variabili aggiuntive.

Linux/mac/Shell

export PROJECT=project;export HOSTNAME=hostname;export ZONE=zone

Windows

set PROJECT=project && set HOSTNAME=hostname && set ZONE=zone

• Imposta PROJECT sul tuo Google Cloud ID progetto
• Imposta HOSTNAME sul nome del nodo master nel cluster Managed Service for Apache Spark (il nome del master termina con il suffisso -m)
• Imposta ZONE sulla zona delle VM nel cluster Managed Service for Apache Spark (ad esempio "us-central1-b")

Crea un tunnel SSH

Comando gcloud

Esegui il seguente comando gcloud sulla tua macchina locale per configurare un tunnel SSH da una porta aperta sulla tua macchina locale all'istanza master del tuo cluster ed esegui un server proxy SOCKS locale in ascolto sulla porta.

Prima di eseguire il comando, sulla tua macchina locale:

1. Imposta le variabili di comando di uso comune
2. Imposta una variabile PORT su una porta aperta sulla tua macchina locale. La porta 1080 è una scelta arbitraria, ma tipica, poiché è probabile che sia aperta.

   PORT=number
   

Linux/macOS

gcloud compute ssh ${HOSTNAME} \
    --project=${PROJECT} --zone=${ZONE}  -- \
    -D ${PORT} -N

Windows

gcloud compute ssh %HOSTNAME% ^
    --project=%PROJECT% --zone=%ZONE%  -- ^
    -D %PORT% -N

Il separatore -- consente di aggiungere argomenti SSH al comando gcloud compute ssh, come segue:

• -Dspecifica il port forwarding dinamico a livello di applicazione.
• -N indica a gcloud di non aprire una shell remota.

Questo comando gcloud crea un tunnel SSH che funziona indipendentemente dalle altre sessioni della shell SSH, mantiene gli errori relativi al tunnel fuori dall'output della shell e aiuta a prevenire chiusure involontarie del tunnel.

Se il comando ssh non va a buon fine e viene visualizzato il messaggio di errore bind: Cannot assign requested address, è probabile che la porta richiesta sia in uso. Prova a eseguire il comando con un valore diverso per la variabile PORT.

Il comando precedente viene eseguito in primo piano e deve continuare a essere eseguito per mantenere attivo il tunnel. Il comando dovrebbe uscire automaticamente se e quando elimini il cluster.

Scegli di eseguire il comando in background. Puoi eseguire il comando come processo in background aggiungendo il flag "-n" (-- -D ${PORT} -N -n), che reindirizza stdin da /dev/null. Tieni presente che il flag -n potrebbe non essere supportato in tutti i sistemi operativi.

Cloud Shell

1. Apri Google Cloud Cloud Shell.

   

   Timeout della sessione di Cloud Shell: le sessioni di Cloud Shell vengono chiuse automaticamente dopo un periodo di inattività (30 minuti).

2. Esegui il comando gcloud di seguito in Cloud Shell per configurare un tunnel SSH da una porta di anteprima di Cloud Shell a una porta dell'interfaccia web sul nodo master del tuo cluster. Prima di eseguire il comando, in Cloud Shell :

   1. Imposta le variabili di comando di uso comune
   2. Imposta una variabile PORT1 su una porta Cloud Shell nell'intervallo di porte 8080-8084 e imposta una variabile PORT2 sulla porta dell'interfaccia web sul nodo master del cluster Managed Service for Apache Spark.

      PORT1=number
      PORT2=number
      

   gcloud compute ssh ${HOSTNAME} \
       --project=${PROJECT} --zone=${ZONE}  -- \
       -4 -N -L ${PORT1}:${HOSTNAME}:${PORT2}
   

   Il separatore -- consente di aggiungere argomenti SSH al comando gcloud compute ssh, come segue:

   • -4 indica a ssh di utilizzare solo IPv4.
   • -N indica a gcloud di non aprire una shell remota.
   • -L ${PORT1}:${HOSTNAME}:${PORT2} specifica il port forwarding locale dalla PORT1 di Cloud Shell specificata al cluster HOSTNAME:PORT2.

   Questo comando gcloud crea un tunnel SSH che funziona indipendentemente dalle altre sessioni della shell SSH, mantiene gli errori relativi al tunnel fuori dall'output della shell e aiuta a prevenire chiusure involontarie del tunnel.

Configura il browser

Comando gcloud

Il tunnel SSH supporta il proxying del traffico utilizzando il protocollo SOCKS. Per configurare il browser in modo che utilizzi il proxy, avvia una nuova sessione del browser con i parametri del server proxy. Ecco un esempio che utilizza il browser Google Chrome. HOSTNAME è il nome del nodo master del cluster (consulta Imposta le variabili di comando di uso comune).

Linux

/usr/bin/google-chrome \
    --proxy-server="socks5://localhost:${PORT}" \
    --user-data-dir=/tmp/${HOSTNAME}

macOS

"/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" \
    --proxy-server="socks5://localhost:${PORT}" \
    --user-data-dir=/tmp/${HOSTNAME}

Windows

"%ProgramFiles(x86)%\Google\Chrome\Application\chrome.exe" ^
    --proxy-server="socks5://localhost:%PORT%" ^
    --user-data-dir="%Temp%\%HOSTNAME%"

Utenti di Windows a 32 bit: cambia %ProgramFiles(x86)% in %ProgramFiles% nel comando precedente.

Questo comando utilizza i seguenti flag del browser Chrome:

• -proxy-server="socks5://localhost:1080" indica a Chrome di inviare tutte le richieste di URL http:// e https:// tramite il server proxy SOCKS localhost:${PORT}, utilizzando la versione 5 del protocollo SOCKS. ${PORT} è la variabile della porta impostata in Crea un tunnel SSH. I nomi host per gli URL vengono risolti dal server proxy, non localmente da Chrome.
• --user-data-dir=/tmp/${HOSTNAME} forza Chrome ad aprire una nuova finestra non collegata a una sessione di Chrome esistente. Senza questo flag, Chrome potrebbe aprire una nuova finestra collegata a una sessione di Chrome esistente, ignorando l'impostazione --proxy-server. Il valore impostato per --user-data-dir può essere qualsiasi percorso non esistente.

Estensioni proxy: le estensioni di gestione del proxy che semplificano la gestione e l'utilizzo del proxy nel browser sono disponibili per Chrome, Firefox e altri browser web.

Cloud Shell

Non è necessario configurare il browser locale quando utilizzi Cloud Shell. Dopo aver creato un tunnel SSH, utilizza l'anteprima web di Cloud Shell per connetterti all'interfaccia del cluster.

Connettiti all'interfaccia del cluster

Comando gcloud

Una volta configurato il browser locale per l'utilizzo del proxy, puoi accedere all'URL dell'interfaccia web sul cluster Managed Service for Apache Spark (consulta Interfacce disponibili). L'URL del browser ha il seguente formato e contenuto: http://cluster-name-m:port (porta dell'interfaccia del cluster)

Cloud Shell

Fai clic sul pulsante Anteprima web di Cloud Shell , quindi seleziona una delle seguenti opzioni:

• "Anteprima sulla porta 8080" o
• "Cambia porta" e inserisci il numero di porta nella finestra di dialogo

in base al numero PORT1 di Cloud Shell (porta 8080 - 8084) che hai passato al comando gcloud compute ssh in Crea un tunnel SSH.

Si apre una finestra del browser che si connette alla porta dell'interfaccia web sul nodo master del cluster.

Messaggi del browser Chrome: quando utilizzi un browser Chrome, potresti visualizzare messaggi del seguente tipo nella finestra del terminale o in Cloud Shell che hai utilizzato per creare un tunnel SSH.

channel 15: open failed: administratively prohibited: open failed
channel 16: open failed: administratively prohibited: open failed
channel 17: open failed: administratively prohibited: open failed

Questi non sono messaggi di errore irreversibile. Il browser Chrome genera questi messaggi quando non è in grado di caricare una pagina e potresti visualizzarli anche se riesci a connetterti correttamente all'interfaccia dell'applicazione sul tuo cluster.

Domande frequenti e suggerimenti per il debug

Cosa succede se non vedo la UI nel mio browser?

Se non vedi le UI nel browser, i due motivi più comuni sono:

1. Si è verificato un problema di connettività di rete, probabilmente a causa di un firewall. Esegui il seguente comando (dopo aver impostato le variabili locali) per verificare se puoi connetterti tramite SSH all'istanza master. Se non riesci, significa che c'è un problema di connettività.

   Linux/macOS

   gcloud compute ssh ${HOSTNAME}-m \
       --project=${PROJECT}
   

   Windows

   gcloud compute ssh %HOSTNAME%-m ^
       --project=%PROJECT%
   

2. Un altro proxy interferisce con il proxy SOCKS. Per controllare il proxy, esegui questo comando curl (disponibile su Linux e macOS):

   Linux/macOS

   curl -Is --socks5-hostname localhost:1080 http://cluster-name-m:8088
   

   Windows

   curl.exe -Is --socks5-hostname localhost:1080 http://cluster-name-m:8088
   

   Se vedi una risposta HTTP, il proxy funziona, quindi è possibile che il proxy SOCKS venga interrotto da un altro proxy o da un'estensione del browser.

Posso utilizzare il port forwarding locale anziché un proxy SOCKS?

Anziché utilizzare il proxy SOCKS, è possibile accedere alle UI delle applicazioni web in esecuzione sull'istanza master con il port forwarding locale SSH, che inoltra la porta del master a una porta locale. Ad esempio, il seguente comando ti consente di accedere a localhost:1080 per raggiungere cluster-name-m:8088 senza SOCKS (consulta Imposta le variabili di comando di uso comune):

Linux/macOS

gcloud compute ssh ${HOSTNAME}-m \
    --project=${PROJECT} -- \
    -L 1080:${HOSTNAME}-m:8088 -N -n

Windows

gcloud compute ssh %HOSTNAME%-m ^
    --project=%PROJECT% -- ^
    -L 1080:%HOSTNAME%-m:8088 -N -n

Con un proxy SOCKS, accedi all'interfaccia utente remota in esecuzione sull'istanza master con http://cluster-name-m:port, ma con il port forwarding locale accedi all'interfaccia utente dell'applicazione web dell'istanza master all'indirizzo http://localhost:port.

L'utilizzo di un proxy SOCKS potrebbe essere preferibile all'utilizzo del port forwarding locale, poiché il proxy:

• ti consente di accedere a tutte le porte dell'applicazione web senza dover configurare un tunnel di port forwarding per ogni porta dell'interfaccia utente
• consente alle UI web di Spark e Hadoop di risolvere correttamente gli host DNS