Dove sono gli Spark registrati su EMR?

Question

Non riesco a individuare i registri degli errori oi messaggi delle chiamate println in Scala durante l'esecuzione dei lavori su Spark in EMR.

Dove posso accedere a questi?

sto presentando il Spark job, scritto in Scala per EMR utilizzando script-runner.jar con argomenti --deploy-mode impostato cluster e --master insieme a yarn. Funziona bene il lavoro.

Tuttavia non vedo i miei println dichiarazioni nel Amazon EMR UI dove elenca "stderr, stdout etc. Furthermore if my job errors I don't see why it had an error. All I see is this in the stderr`:

15/05/27 20:24:44 INFO yarn.Client: Application report from ResourceManager: 
application identifier: application_1432754139536_0002 
appId: 2 
clientToAMToken: null 
appDiagnostics: 
appMasterHost: ip-10-185-87-217.ec2.internal 
appQueue: default 
appMasterRpcPort: 0 
appStartTime: 1432758272973 
yarnAppState: FINISHED 
distributedFinalState: FAILED 
appTrackingUrl: http://10.150.67.62:9046/proxy/application_1432754139536_0002/A 
appUser: hadoop 

`

Answer 1

Con la modalità di implementazione di cluster filato il driver Spark e quindi il codice utente eseguito sarà entro il contenitore Application master. Sembra che il debug EMR sia stato abilitato sul cluster, quindi i log dovrebbero essere stati inviati anche a S3. Nella posizione S3, consulta task-attempts/<applicationid>/<firstcontainer>/*.

Answer 2

Se si invia il tuo lavoro con emr-bootstrap è possibile specificare il registro directory come un bucket s3 con --log-uri

Answer 3

Se si SSH nel nodo master del cluster, si dovrebbe essere in grado di trovare stdout, stderr, syslog e registri regolatore d sotto:

/mnt/var/log/hadoop/steps/<stepname>