leggere il file da AWS S3 secchio utilizzando nodo fs

Question

Sto tentando di leggere un file che si trova in un secchio AWS s3 usando

fs.readFile(file, function (err, contents) { 
    var myLines = contents.Body.toString().split('\n') 
}) 

Sono stato in grado di scaricare e caricare un file utilizzando il nodo di aws- sdk, ma non riesco a capire come leggerlo e analizzare il contenuto.

Ecco un esempio di come sto leggendo il file da S3:

var s3 = new AWS.S3(); 
var params = {Bucket: 'myBucket', Key: 'myKey.csv'} 
var s3file = s3.getObject(params) 

Answer 1

Hai un paio di opzioni. È possibile includere un callback come secondo argomento, che verrà richiamato con qualsiasi messaggio di errore e l'oggetto. Questo example è retta dalla documentazione AWS:

s3.getObject(params, function(err, data) { 
    if (err) console.log(err, err.stack); // an error occurred 
    else  console.log(data);   // successful response 
}); 

In alternativa, è possibile convertire l'output in un flusso. C'è anche un example nella documentazione AWS:

var s3 = new AWS.S3(); 
var params = {Bucket: 'myBucket', Key: 'myImageFile.jpg'}; 
var file = require('fs').createWriteStream('/path/to/file.jpg'); 
s3.getObject(params).createReadStream().pipe(file); 

Answer 2

Questo lo farà:

new AWS.S3().getObject({ Bucket: this.awsBucketName, Key: keyName }, function(err, data) 
{ 
    if (!err) 
     console.log(data.Body.toString()); 
}); 

Answer 3

Dal momento che sembra voler elaborare una linea linea per file di testo S3. Ecco una versione nodo che utilizza il modulo readline standard AWS' createReadStream()

const readline = require('readline'); 

const rl = readline.createInterface({ 
    input: s3.getObject(params).createReadStream() 
}); 

rl.on('line', function(line) { 
    console.log(line); 
}) 
.on('close', function() { 
}); 

Answer 4

qui è l'esempio che ho usato per retrive e analizzare dati JSON da s3.

var params = {Bucket: BUCKET_NAME, Key: KEY_NAME}; 
    new AWS.S3().getObject(params, function(err, json_data) 
    { 
     if (!err) { 
     var json = JSON.parse(new Buffer(json_data.Body).toString("utf8")); 

     // PROCESS JSON DATA 
      ...... 
    } 
    }); 

Answer 5

non riuscivo a capire il motivo per cui ancora, ma l'approccio createReadStream/pipe non ha funzionato per me. Stavo cercando di scaricare un file CSV di grandi dimensioni (300 MB +) e ho ottenuto linee duplicate. Sembrava un problema casuale. La dimensione del file finale variava a ogni tentativo di scaricarlo.

ho finito per usare un altro modo, in base a AWS JS SDK examples:

var s3 = new AWS.S3(); 
var params = {Bucket: 'myBucket', Key: 'myImageFile.jpg'}; 
var file = require('fs').createWriteStream('/path/to/file.jpg'); 

s3.getObject(params). 
    on('httpData', function(chunk) { file.write(chunk); }). 
    on('httpDone', function() { file.end(); }). 
    send(); 

In questo modo, ha funzionato come un fascino.

Answer 6

Ho avuto esattamente lo stesso problema durante il download da file molto grandi S3.

La soluzione esempio dalla documentazione AWS semplicemente non funziona:

var file = fs.createWriteStream(options.filePath); 
     file.on('close', function(){ 
      if(self.logger) self.logger.info("S3Dataset file download saved to %s", options.filePath); 
      return callback(null,done); 
     }); 
     s3.getObject({ Key: documentKey }).createReadStream().on('error', function(err) { 
      if(self.logger) self.logger.error("S3Dataset download error key:%s error:%@", options.fileName, error); 
      return callback(error); 
     }).pipe(file); 

Anche se questa soluzione funziona:

var file = fs.createWriteStream(options.filePath); 
    s3.getObject({ Bucket: this._options.s3.Bucket, Key: documentKey }) 
    .on('error', function(err) { 
     if(self.logger) self.logger.error("S3Dataset download error key:%s error:%@", options.fileName, error); 
     return callback(error); 
    }) 
    .on('httpData', function(chunk) { file.write(chunk); }) 
    .on('httpDone', function() { 
     file.end(); 
     if(self.logger) self.logger.info("S3Dataset file download saved to %s", options.filePath); 
     return callback(null,done); 
    }) 
    .send(); 

Il tentativo createReadStream semplicemente non si attiva la richiamata end, close o error per qualche ragione. Vedi here su questo.

sto usando questa soluzione anche per scrivere gli archivi di gzip, dal momento che il primo (AWS esempio) non funziona in questo caso sia:

 var gunzip = zlib.createGunzip(); 
     var file = fs.createWriteStream(options.filePath); 

     s3.getObject({ Bucket: this._options.s3.Bucket, Key: documentKey }) 
     .on('error', function (error) { 
      if(self.logger) self.logger.error("%@",error); 
      return callback(error); 
     }) 
     .on('httpData', function (chunk) { 
      file.write(chunk); 
     }) 
     .on('httpDone', function() { 

      file.end(); 

      if(self.logger) self.logger.info("downloadArchive downloaded %s", options.filePath); 

      fs.createReadStream(options.filePath) 
      .on('error', (error) => { 
       return callback(error); 
      }) 
      .on('end',() => { 
       if(self.logger) self.logger.info("downloadArchive unarchived %s", options.fileDest); 
       return callback(null, options.fileDest); 
      }) 
      .pipe(gunzip) 
      .pipe(fs.createWriteStream(options.fileDest)) 
     }) 
     .send();