Ottimizza file C# IO

Question

Scenario: 150 MB di file di testo che è la Posta in arrivo esportata di un vecchio account di posta elettronica. È necessario analizzare ed estrarre le email da un utente specifico e scriverle in un nuovo file singolo. Ho un codice che funziona, è solo ostinato.

Sto utilizzando le stringhe di indicatore per cercare da dove iniziare/terminare la copia dal file originale.

Ecco la funzione principale:

StreamReader sr = new StreamReader("c:\\Thunderbird_Inbox.txt"); 
     string working = string.Empty; 
     string mystring = string.Empty; 
     while (!sr.EndOfStream) 
     { 
      while ((mystring = sr.ReadLine()) != null) 
      { 
       if (mystring == strBeginMarker) 
       { 
        writeLog(mystring); 

        //read the next line 
        working = sr.ReadLine(); 

         while(!(working.StartsWith(strEndMarker))) 
         { 
          writeLog(working); 
          working = sr.ReadLine(); 

         } 
        } 
      } 

     } 
     this.Text = "DONE!!"; 
     sr.Close(); 

La funzione che scrive i messaggi selezionati per il nuovo file:

public void writeLog(string sMessage) 
    { 
      fw = new System.IO.StreamWriter(path, true); 
      fw.WriteLine(sMessage); 
      fw.Flush(); 
      fw.Close(); 
    } 

Ancora una volta, questo processo funziona. Ottengo un buon file di output, ci vuole solo molto tempo e sono sicuro che ci sono modi per renderlo più veloce.

Answer 1

L'ottimizzazione più grande sarebbe quella di modificare il metodo writeLog per aprire il file una volta all'inizio di questa operazione, scrivervi più volte, quindi chiuderlo alla fine.

In questo momento, si sta aprendo e chiudendo il file ogni iterazione in cui si scrive, che sicuramente rallenterà le cose.

provare quanto segue:

// Open this once at the beginning! 
using(fw = new System.IO.StreamWriter(path, true)) 
{ 
    using(StreamReader sr = new StreamReader("c:\\Thunderbird_Inbox.txt")) 
    { 
     string working; 
     string mystring; 
     while ((mystring = sr.ReadLine()) != null) 
     { 
      if (mystring == strBeginMarker) 
      { 
       writeLog(mystring); 

       //read the next line 
       working = sr.ReadLine(); 

       while(!(working.StartsWith(strEndMarker))) 
       { 
        fw.WriteLine(working); 
        working = sr.ReadLine(); 
       } 
      } 
     } 
    } 
} 
this.Text = "DONE!!"; 

Answer 2

non ho un file di testo 150MB per testare, ma se il server dispone la memoria sarebbe Leggendo la cosa presa in una stringa e facendo una RegEx tirando fuori il lavoro messaggio ?

Answer 3

È possibile dichiarare semplicemente l'oggetto StreamWriter al di fuori del ciclo while e scrivere semplicemente la linea all'interno del loop.

Ti piace questa:

StreamWriter sw = new StreamWriter(path, true); 
while 
{ 
    // ... 
    while(!(working.StartsWith(strEndMarker))) 
    { 
     sw.WriteLine(working); 
     working = sr.ReadLine(); 
    } 
} 

Answer 4

Penso che si dovrebbe:

1. Aprire i file una volta.
2. Carica il file sorgente nella memoria.
3. Interrompila e utilizza più thread per l'elaborazione.

Answer 5

Vorrei fare un semplice parser. Nota che questo presuppone (come fai nel tuo codice sopra) che i marcatori sono in effetti unici.

Potrebbe essere necessario giocare con la formattazione di un po 'della vostra uscita, ma qui è l'idea generale:

// Read the entire file and close it 
    using (StreamReader sr = new 
    StreamReader("c:\\Thunderbird_Inbox.txt");) 
    { 
     string data = sr.ReadToEnd(); 
    } 

    string newData = ""; 
    int position = data.IndexOf(strBeginMarker); 

    while (position > 0) 
    { 
     int endPosition = data.IndexOf(endMarker, position); 
     int markerLength = position + strBeginMarker.Length; 

    newData += data.Substring(markerLength, endPosition - markerLength); 

    position = data.IndexOf(strBeginMarker, position+ endStr.Length); 
    } 

    writeLog(newData); 

(Si noti che non ho un file di 150 MB per testare questo su - YMMV a seconda della macchina che si sta utilizzando).