Come unire file giganteschi in modo efficiente con C#

Question

Ho più di 125 file TSV di ~ 100 Mb ciascuno che voglio unire. L'operazione di fusione è consentita per distruggere i 125 file, ma non i dati. Che importa è che alla fine, finisco con un grosso file del contenuto di tutti i file uno dopo l'altro (senza un ordine specifico).

Esiste un modo efficace per farlo? Mi chiedevo se Windows fornisce un'API per creare semplicemente una grande "Unione" di tutti quei file? Altrimenti dovrò leggere tutti i file e scriverne uno grande.

Grazie!

Answer 1

Quindi "unire" è in realtà solo la scrittura dei file uno dopo l'altro? È piuttosto semplice: basta aprire un flusso di output e quindi aprire ripetutamente un flusso di input, copiare i dati, chiudere. Per esempio:

static void ConcatenateFiles(string outputFile, params string[] inputFiles) 
{ 
    using (Stream output = File.OpenWrite(outputFile)) 
    { 
     foreach (string inputFile in inputFiles) 
     { 
      using (Stream input = File.OpenRead(inputFile)) 
      { 
       input.CopyTo(output); 
      } 
     } 
    } 
} 

che sta utilizzando il metodo Stream.CopyTo che è nuova in .NET 4. Se non si sta utilizzando .NET 4, un altro metodo di supporto sarebbe venuto in aiuto:

private static void CopyStream(Stream input, Stream output) 
{ 
    byte[] buffer = new byte[8192]; 
    int bytesRead; 
    while ((bytesRead = input.Read(buffer, 0, buffer.Length)) > 0) 
    { 
     output.Write(buffer, 0, bytesRead); 
    } 
} 

Non c'è niente che sono consapevole che è più efficiente di questo ... ma, soprattutto, questo non occuperà affatto molta memoria sul tuo sistema. Non è come se leggesse ripetutamente l'intero file in memoria, quindi lo scrive di nuovo.

MODIFICA: come indicato nei commenti, ci sono modi in cui è possibile armeggiare con le opzioni di file su potenzialmente rendendolo leggermente più efficiente in termini di ciò che il file system fa con i dati. Ma fondamentalmente leggerete i dati e li scrivete, un buffer alla volta, in entrambi i casi.

Answer 2

Perché vuoi farlo?

Un modo potrebbe essere quello di giocherellare con la frammentazione di basso livello, sarebbe bello se si riuscisse a farlo funzionare.

Ecco un wrapper per C#.

http://blogs.msdn.com/b/jeffrey_wall/archive/2004/09/13/229137.aspx

Answer 3

farlo dalla riga di comando:

copy 1.txt+2.txt+3.txt combined.txt 

o

copy *.txt combined.txt 

Answer 4

Vuoi dire con merge che si vuole decidere con una certa logica personalizzata quali linee vanno dove? O vuoi dire che vuoi principalmente concatenare i file in uno solo?

Nel caso di quest'ultimo, è possibile che non hai bisogno di fare questo a livello di codice a tutti, basta creare un file batch con questo (/b è per binario, rimuovere se non necessario):

copy /b "file 1.tsv" + "file 2.tsv" "destination file.tsv" 

Usando C#, adotterei il seguente approccio. Scrivere una funzione semplice che le copie di due corsi d'acqua:

void CopyStreamToStream(Stream dest, Stream src) 
{ 
    int bytesRead; 

    // experiment with the best buffer size, often 65536 is very performant 
    byte[] buffer = new byte[GOOD_BUFFER_SIZE]; 

    // copy everything 
    while((bytesRead = src.Read(buffer, 0, buffer.Length)) > 0) 
    { 
     dest.Write(buffer, 0, bytesRead); 
    } 
} 

// then use as follows (do in a loop, don't forget to use using-blocks) 
CopStreamtoStream(yourOutputStream, yourInputStream);