Ottieni il nome del file di input nello streaming del programma hadoop

Question

Sono in grado di trovare il nome se il file di input in una classe mapper utilizza FileSplit quando si scrive il programma in Java.

c'è un modo corrispondente per fare questo quando scrivo un programma in Python (usando streaming?)

ho trovato la seguente nel documento di streaming Hadoop su Apache:

Vedi configurati parametri. Durante l'esecuzione di un lavoro di streaming, i nomi dei parametri "mappati" vengono trasformati. I punti (.) diventano caratteri di sottolineatura (_). Ad esempio, mapred.job.id diventa mapred_job_id e mapred.jar diventa mapred_jar. Nel codice, utilizzare i nomi dei parametri con i caratteri di sottolineatura.

Ma non riesco ancora a capire come utilizzarlo all'interno del mio mapper.

Qualsiasi aiuto è molto apprezzato.

Grazie

Answer 1

Secondo la "Hadoop : The Definitive Guide"

Hadoop imposta i parametri di configurazione di lavoro come variabili di ambiente per i programmi in streaming. Tuttavia, sostituisce il carattere non alfanumerico con caratteri di sottolineatura per assicurarsi che siano nomi validi. La seguente espressione Python illustra come è possibile recuperare il valore della proprietà mapred.job.id dall'interno di uno script Python Streaming:

os.environ [ "mapred_job_id"]

È inoltre possibile impostare le variabili d'ambiente per la Processo di streaming lanciato da MapReduce applicando l'opzione -cmdenv al programma di avvio Streaming (una volta per ciascuna variabile che si desidera impostare). Ad esempio, la seguente imposta la variabile di ambiente MAGIC_PARAMETER:

-cmdenv MAGIC_PARAMETER = abracadabra

Answer 2

Il nuovo ENV_VARIABLE per Hadoop 2.x è MAPREDUCE_MAP_INPUT_FILE

Answer 3

Analizzando il mapreduce_map_input_file (nuovo) o map_input_file (variabile), si otterrà il nome del file di input della mappa.

Avviso:
Le due variabili d'ambiente sono maiuscole e minuscole, tutte le lettere sono minuscole.