Registrazione di PySpark?

Question

Desidero che il mio programma Spark, scritto in Python, fornisca alcune informazioni di registrazione di base. Ci sono tre modi che posso vedere per fare questo:

1. Utilizzo del ponte Py4j PySpark per ottenere l'accesso alla funzione di registrazione log4j Java utilizzata da Spark.

log4jLogger = sc._jvm.org.apache.log4j LOGGER = log4jLogger.LogManager.getLogger(__name__) LOGGER.info("pyspark script logger initialized")

stampa

2. Basta utilizzare la console standard.

3. logging Modulo libreria standard Python. Questo sembra l'ideale e l'approccio più Pythonic, tuttavia, almeno fuori dalla scatola, non funziona e i messaggi registrati non sembrano essere recuperabili. Naturalmente, questo può essere configurato per accedere a py4j-> log4j e/o alla console.

Quindi, la guida di programmazione ufficiale (https://spark.apache.org/docs/1.6.1/programming-guide.html) non menziona la registrazione a tutti. Questo è deludente. Ci dovrebbe essere un modo standard raccomandato per registrare da un programma Spark.

cercato per questo problema, e abbiamo trovato questo: How do I log from my Python Spark script

Ma il contenuto di quel filo erano insoddisfacenti.

In particolare, ho le seguenti domande:

• mi sto perdendo un modo standard per accedere da un programma pilota PySpark?
• Ci sono dei pro/contro nel logging su py4j-> log4j vs console?

Answer 1

Una soluzione più pulita consiste nell'utilizzare un modulo di registrazione python standard con un gestore distribuito personalizzato per raccogliere i messaggi di registro da tutti i nodi dello spark cluster.

Vedere "Accesso in PySpark" di questo Gist:

https://gist.github.com/smartnose/9f173b4c36dc31310e8efd27c3535a14

Answer 2

Nel mio ambiente python dev (solo serraggio Spark macchina) Io uso questo:

import logging 


def do_my_logging(log_msg): 

    logger = logging.getLogger('__FILE__') 
    logger.warning('log_msg = {}'.format(log_msg)) 

do_my_logging('Some log message') 

che funziona utilizzando il script spark-submit.