Più thread che leggono dallo stesso file

Question

Ho un file xml che deve essere letto da molte molte volte. Sto cercando di utilizzare Parallel.ForEach per accelerare questo processo poiché nessuno di quei dati letti è rilevante per l'ordine in cui viene letto. I dati vengono semplicemente utilizzati per popolare gli oggetti. Il mio problema è anche se sto aprendo il file ogni volta nel thread in quanto letto solo si lamenta che è aperto da un altro programma. (Non l'ho aperto in un editor di testo o altro :))

Come posso eseguire più letture dallo stesso file?

MODIFICA: il file è ~ 18KB piuttosto piccolo. Si legge da circa 1800 volte.

Grazie

Answer 1

Se si desidera più thread di leggere dallo stesso file, è necessario specificare FileShare.Read:

using (var stream = File.Open("theFile.xml", FileMode.Open, FileAccess.Read, FileShare.Read)) 
{ 
    ... 
} 

Tuttavia, non sarà possibile ottenere alcun aumento di velocità da questa, per diverse ragioni:

1. Il tuo hard disk può solo leggere una cosa alla volta. Sebbene siano attivi più thread contemporaneamente, questi thread finiranno per attendere l'un l'altro.
2. Non è possibile analizzare facilmente una parte di un file XML. Di solito devi analizzare l'intero file XML ogni volta. Poiché hai più thread che lo leggono continuamente, sembra che non ti aspetti che il file cambi. Se questo è il caso, allora perché hai bisogno di leggerlo più volte?

Answer 2

Quando si apre il file, è necessario specificare FileShare.Read:

using (var stream = new FileStream("theFile.xml", FileMode.Open, FileAccess.Read, FileShare.Read)) 
{ 
    ... 
} 

In questo modo il file può essere aperto più volte per la lettura

Answer 3

A seconda delle dimensioni del file e il tipo di letture che stai facendo potrebbe essere più veloce per caricare prima il file in memoria e quindi fornire l'accesso direttamente ai tuoi thread.

Non hai fornito alcun dettaglio sul file, le letture, ecc., Quindi non posso dire con certezza se risponda alle tue esigenze specifiche.

La premessa generale sarebbe quella di caricare il file una volta in un singolo thread e quindi direttamente (tramite la struttura Xml) o indirettamente (tramite XmlNodes, ecc.) Fornire l'accesso al file a ciascuno dei thread. Mi immagino qualcosa di simile a:

1. Caricare il file di
2. Per ogni query XPath spedizione i nodi corrispondenti alle vostre discussioni.

Se i thread non modificano direttamente l'XML, questa potrebbe essere un'alternativa valida.