Running Spark on YARN in modalità thread-cluster: dove esce l'uscita della console?

Question

Ho seguito questa pagina e ho eseguito l'applicazione di esempio SparkPi su YARN in modalità thread-cluster.

http://spark.apache.org/docs/latest/running-on-yarn.html

non vedo l'output del programma al termine (che è il risultato del calcolo in questo caso). Quando faccio funzionare in modalità filo client (--master filo-client), viene visualizzato un output del tipo:

Pi è approssimativamente 3,138796

dove viene la standard out andare in modalità filato-cluster?

Answer 1

Dopo aver girato, ho trovato questo nel spark-0.9.0 doc.

Esaminare l'output (sostituire $ YARN_APP_ID nel seguito con la "identificatore applicazione" in uscita dal comando precedente) (Nota: YARN_APP_LOGS_DIR è di solito/tmp/logs o $ HADOOP_HOME/logs/userlogs a seconda del Hadoop versione.)

$ cat $ YARN_APP_LOGS_DIR/$ YARN_APP_ID/contenitore * _000001/stdout

Pi è di circa 3,13794

Vorrei che hanno messo questa istruzione nel 1.1.0 documentation anche.