Sto usando Hadoop 2.6.0 (immagine emr-4.2.0). Ho apportato alcune modifiche in yarn-site.xml e voglio riavviare il filo per rendere effettive le modifiche.Come riavviare il filato su AWS EMR
Esiste un comando con cui posso eseguire questa operazione?
Edit (2017/10/26): Una più dettagliata l'articolo Knowledge Center su come fare questo è stato pubblicato qui da AWS ufficialmente - https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/.
È possibile ssh nel nodo master del cluster EMR e correre -
"sudo /sbin/stop hadoop-yarn-resourcemanager"
"sudo /sbin/start hadoop-yarn-resourcemanager"
comandi per riavviare il gestore delle risorse Filati. EMR AMI 4.x.x utilizza upstart -/sbin/{start, stop, restart} sono tutti collegamenti simbolici a/sbin/initctl, che fa parte di upstart. Vedere la pagina man initctl per ulteriori informazioni.
In alternativa, è possibile seguire le istruzioni qui per propagare le modifiche filo-site.xml - yarn-change-configuration-on-yarn-site-xml
Se ciò che si vuole fare è quello di consentire di log-aggregazione, in realtà è più facile creare il cluster con log-aggregazione già abilitato, come descritto nella documentazione:
http://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-plan-debugging.html
(in realtà è abilitato di default se si utilizza emr-4.3.0).
Per coloro che stanno andando venire da Google
Per riavviare un servizio di EMR, eseguire le seguenti operazioni:
Trova il nome del servizio eseguendo il comando seguente:
initctl list
Ad esempio, il servizio FILATO Resource manager è denominato hadoop-yarn-resourcemanager.
arrestare il servizio eseguendo il comando seguente:
sudo stop hadoop-yarn-resourcemanager
Attendere qualche secondo, quindi avviare il servizio eseguendo il seguente comando:
sudo start hadoop-yarn-resourcemanager
Nota : È richiesto Stop/Start; non usare il comando restart.
Verificare che il processo è in esecuzione eseguendo il comando seguente:
sudo status hadoop-yarn-resourcemanager
Controllare il processo usando ps, e quindi controllare il file di log per eventuali errori nella directory di registro/var/log /.
Fonte: https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/