Come disattivare INFO dai log in PySpark senza modifiche a log4j.properties?

Question

Io lavoro in un cluster in cui non ho il permesso di modificare il file log4j.properties per interrompere la registrazione delle informazioni durante l'utilizzo di pyspark (come spiegato nella prima risposta here.) La seguente soluzione, come spiegato nella prima risposta della domanda sopra, funziona scintilla scocca (Scala)

import org.apache.log4j.Logger 
import org.apache.log4j.Level 

Ma scintilla con python (cioè pyspark), non ha funzionato né il seguente

Logger.getLogger("org").setLevel(Level.OFF) 
Logger.getLogger("akka").setLevel(Level.OFF) 

Come posso interrompere la stampa dettagliata di informazioni in pyspark SENZA modificare il file log4j.properties?

Answer 1

Ho usato sc.setLogLevel("ERROR") perché non ho avuto accesso in scrittura ai file di log4j.properties del nostro cluster. Da docs:

Control our logLevel. This overrides any user-defined log settings. Valid log levels include: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN

Answer 2

da https://stackoverflow.com/a/32208445/3811916:

logger = sc._jvm.org.apache.log4j 
logger.LogManager.getLogger("org").setLevel(logger.Level.OFF) 
logger.LogManager.getLogger("akka").setLevel(logger.Level.OFF) 

fa il trucco per me. Questo è essenzialmente come è fatto all'interno PySpark's own tests:

class QuietTest(object): 
    def __init__(self, sc): 
     self.log4j = sc._jvm.org.apache.log4j 

    def __enter__(self): 
     self.old_level = self.log4j.LogManager.getRootLogger().getLevel() 
self.log4j.LogManager.getRootLogger().setLevel(self.log4j.Level.FATAL)