come leggere la directory di lettura in node.js?

Question

Supponiamo di avere una directory che contiene file 100K + o addirittura 500k +. Voglio leggere la directory con fs.readdir, ma non è in streaming asincrono. Qualcuno mi dice che la memoria di uso asincrono prima di aver letto l'intero elenco di file.

Quindi qual è la soluzione? Voglio leggere l'approccio del flusso. Posso?

Answer 1

Nei computer moderni che attraversano una directory con file 500K non è nulla. Quando si usa il comando fs.readdir in modo asincrono in Node.js, ciò che fa è semplicemente leggere un elenco di nomi di file nella directory specificata. Non legge i contenuti dei file. Ho appena testato con i file 700K nella directory. Occorrono solo 21 MB di memoria per caricare questo elenco di nomi di file.

Una volta caricato questo elenco di nomi di file, li si attraversa uno ad uno o in parallelo impostando un limite per la concorrenza e si possono facilmente consumare tutti. Esempio:

var async = require('async'), 
    fs = require('fs'), 
    path = require('path'), 
    parentDir = '/home/user'; 

async.waterfall([ 
    function (cb) { 
     fs.readdir(parentDir, cb); 
    }, 
    function (files, cb) { 
     // `files` is just an array of file names, not full path. 

     // Consume 10 files in parallel. 
     async.eachLimit(files, 10, function (filename, done) { 
      var filePath = path.join(parentDir, filename); 

      // Do with this files whatever you want. 
      // Then don't forget to call `done()`. 
      done(); 
     }, cb); 
    } 
], function (err) { 
    err && console.trace(err); 

    console.log('Done'); 
});