File di lettura efficiente riga per riga nel nodo

Question

Ho già appreso che readline può essere utilizzato per leggere il file riga per riga, ad es.

readline 
    .createInterface({input: fs.createReadStream('xxx')}) 
    .on('line', (line) => { apply_regexp_on_line }) 
    .on('close',() => { report_all_regexps }); 

Tuttavia, questo è piuttosto lento, dal momento che ho confrontato le prestazioni di grep e regexp JavaScript, e quest'ultimo ha prestazioni migliori sulle espressioni regolari che ho provato. (vedi benchmark) Quindi penso di dover incolpare la lettura asincrona del nodo.

Nella mia situazione, non mi interessa affatto asincrono, ho solo bisogno di sfruttare la regexp veloce da JavaScript per elaborare file di registro molto grandi (in genere 1-2 GB, a volte fino a 10 GB). Qual è il modo migliore per fare questo? La mia unica preoccupazione è la velocità.

Punti bonus: alcuni file di registro sono compressi con gzip, quindi è necessario decomprimerli. Se qualcuno mi può consigliare un veloce lettore line-by-line sia per il testo semplice che per il testo gzippato, sarei molto apprezzato.

Answer 1

Come si oppongono ai dati?

// module linegrep.js 
'use strict'; 
var through2 = require('through2'); 
var StringDecoder = require('string_decoder').StringDecoder 

function grep(regex) { 
    var decoder = new StringDecoder('utf8'), 
     last = "", 
     lineEnd = /\r?\n/; 

    var stream = through2({}, function transform(chunk, enc, cb) { 
     var lines = decoder.write(last + chunk).split(lineEnd), i; 
     last = lines.pop(); 
     for (i = 0; i < lines.length; i++) { 
      if (regex.test(lines[i])) this.push(lines[i]); 
     } 
     cb(); 
    }, function flush(cb) { 
     if (regex.test(last)) this.push(last); 
     cb(); 
    }); 
    stream._readableState.objectMode = true; 
    return stream; 
} 

module.exports = grep; 

e

// index.js 

'use strict'; 
var fs = require('fs'); 
var zlib = require('zlib'); 
var grep = require('./linegrep'); 

function grepFile(filename, regex) { 
    var rstream = fs.createReadStream(filename, {highWaterMark: 172 * 1024}); 
    if (/\.gz$/.test(filename)) rstream = rstream.pipe(zlib.createGunzip()); 
    return rstream 
     .pipe(grep(regex)); 
} 

// ------------------------------------------------------------------------- 

var t = Date.now(), mc = 0; 
grepFile('input.txt', /boot\.([a-z]+)_head\./).on('data', function (line) { 
    mc++; 
    console.log(line); 
}).on('end', function() { 
    console.log(mc + " matches, " + (Date.now() - t) + " ms"); 
}); 

Questo trasforma un flusso di file in un flusso oggetto di linee, le mappe attraverso la vostra espressione regolare e restituisce solo le linee corrispondenti.