Come scrivere correttamente su un file usando Parallel.ForEach?

Question

Ho un'attività che legge un file di grandi dimensioni riga per riga, ha una logica con esso e restituisce una stringa che è necessario scrivere in un file. L'ordine dell'output non ha importanza. Tuttavia, quando provo il codice qui sotto, si ferma/diventa molto lento dopo aver letto 15-20k linee del mio file.

public static Object FileLock = new Object(); 
... 
Parallel.ForEach(System.IO.File.ReadLines(inputFile), (line, _, lineNumber) => 
{ 
    var output = MyComplexMethodReturnsAString(line); 
    lock (FileLock) 
    { 
     using (var file = System.IO.File.AppendText(outputFile)) 
     { 
      file.WriteLine(output); 
     } 
    } 
}); 

Perché il mio programma rallenta dopo un certo periodo di tempo? C'è un modo più corretto per eseguire questa attività?

Answer 1

Hai praticamente serializzato la tua query facendo in modo che tutti i thread provino a scrivere sul file. Invece, dovresti calcolare ciò che deve essere scritto, quindi scriverli mentre arrivano alla fine.

var processedLines = File.ReadLines(inputFile).AsParallel() 
    .Select(l => MyComplexMethodReturnsAString(l)); 
File.AppendAllLines(outputFile, processedLines); 

Se è necessario per svuotare i dati come viene, aprire un flusso e attivare risciacquo automatico (o filo manualmente):

var processedLines = File.ReadLines(inputFile).AsParallel() 
    .Select(l => MyComplexMethodReturnsAString(l)); 
using (var output = File.AppendText(outputFile)) 
{ 
    output.AutoFlush = true; 
    foreach (var processedLine in processedLines) 
     output.WriteLine(processedLine); 
} 

Answer 2

Questo ha a che fare con il modo Parallel.ForEach s' bilanciamento del carico interno lavori. Quando vede che i tuoi thread passano molto tempo a bloccarsi, ragiona che può velocizzare le cose gettando più thread al problema, portando a maggiori costi di gestione paralleli, contesa per il tuo FileLock e al peggioramento delle prestazioni complessive.

Perché sta succedendo? Perché Parallel.ForEach non è pensato per il lavoro di I/O.

Come si può risolvere questo? Utilizzare Parallel.ForEach solo per la CPU e eseguire tutti gli IO al di fuori del loop parallelo.

Una soluzione pratica è quello di limitare il numero di fili Parallel.ForEach è permesso di arruolare base sovraccarico che accetta ParallelOptions, in questo modo:

Parallel.ForEach(
    System.IO.File.ReadLines(inputFile), 
    new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount }, 
    (line, _, lineNumber) => 
    { 
     ... 
    }