Dov'è l'interfaccia utente di Spark su Google Dataproc?

Question

Quale porta devo utilizzare per accedere all'interfaccia utente di Spark su Google Dataproc?

Ho provato porta 4040 e 7077, nonché una serie di altre porte ho trovato utilizzando netstat -pln

Firewall sia configurato.

Answer 1

Dataproc esegue Spark su YARN, quindi non è possibile trovare le tipiche porte "Spark standalone"; invece, quando si esegue un lavoro Spark, è possibile visitare la porta 8088 che mostrerà la pagina principale di YARN ResourceManager. Tutti i lavori Spark in esecuzione saranno accessibili tramite il collegamento Application Master in quella pagina. La pagina di Spark Application Master è uguale alla pagina di destinazione autonoma di Spark che normalmente si trova sulla porta 8080 per le impostazioni di Spark predefinite.

Poiché i lavoratori eseguono il check-in sulla rete interna, i collegamenti di YARN utilizzano nomi host interni al cluster (gli hostname devono includere il nome del cluster Dataproc come prefisso), ma ciò significa che se si accede dalla rete esterna, il i collegamenti potrebbero non funzionare all'inizio; devi sostituire il nome host con l'indirizzo IP esterno se stai utilizzando l'approccio basato sul firewall.

Un'esperienza più facile sarà quello di utilizzare i SOCKS approccio proxy come spiegato qui: https://cloud.google.com/dataproc/cluster-web-interfaces

In questo caso, semplicemente utilizzando gcloud compute ssh di eseguire un leggero calzini locali proxy e quindi aprire un browser indicò che vi permetterà di clic tutti i collegamenti dei FILATI come al solito.

Answer 2

Quando following the instructions in Dennis's answer, ho trovato che non potevo connettermi alle porte 8080 o 8088 per l'immagine dataproc v1.0.

Le porte aperte sul nodo principale suggerivano di utilizzare 18080, che ho seguito dopo the documentation per la porta 18080 e voilá: accesso a webui.