Come mappare i campi in Hive per l'esportazione della console Amazon DynamoDb?

Question

Sto provando a caricare il file di esportazione DynamoDb prelevato da Amazon Dynamodb Web Console con lo strumento "Importa/Esporta" in Hive. Ma non ho potuto mappare correttamente i campi perché lo strumento "Esporta" di DynamoDB Web Console utilizza "ETX" "STX".

seguito è riportato un esempio di fila si è concluso con [LF]

Elapsed[ETX]{"n":"1477"}[STX]Device[ETX]{"n":"3"}[STX]Date[ETX]{"s":"2014-03-05T12:13:00.852Z"}[STX]Duration[ETX]{"n":"8075"}[LF] 

Quale dovrebbe essere la domanda per questo?

CREATE EXTERNAL TABLE IF NOT EXISTS TableNameHere (creationDate string, device bigint, duration bigint, elapsed bigint) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ???This is where i got stuck??? 
LOCATION 's3://abcdefg/ino/2015-05-28_12.22'; 

UPDATE

ho aggiornato interrogazione, ma non ha funzionato di nuovo.

'\ 002' per STX
'\ 012' per LF

CREATE EXTERNAL TABLE IF NOT EXISTS TableNameHere (creationDate string, device bigint, duration bigint, elapsed bigint) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\002' 
        LINES TERMINATED BY '\012' 
LOCATION 's3://abcdefg/ino/2015-05-28_12.22'; 

Risultato per la query:

Elapsed{"n":"0"} Device{"n":"3"} Duration{"n":"1073876"} Date{"s":"2014-01-27T00:52:25.491Z"}  

Quindi, ora come posso analizzare questi dati? Ho bisogno di mappare i campi. Devo usare un SerDe personalizzato?

Answer 1

Penso che ci sia già un SerDe per questo: https://github.com/lyft/dynamodb-hive-serde