Accesso Muti-threaded allo stesso file di testo

Question

Ho un enorme file di testo separato dalla linea e voglio fare alcuni calcoli su ogni riga. Ho bisogno di fare un programma multithread per processarlo perché è l'elaborazione di ogni linea che impiega più tempo per completare piuttosto che leggere ogni riga. (Il collo di bottiglia sta nella elaborazione della CPU, piuttosto che il IO)

Ci sono due opzioni mi si avvicinò con:

1) aprire il file dal thread principale, creare un blocco sul file handle e passare i gestire tutti i thread di lavoro e consentire a ciascun lavoratore di accedere direttamente al file direttamente

2) Creare un'impostazione di produttore/utente in cui solo il thread principale ha accesso diretto al file e alimenta le righe per ogni thread di lavoro utilizzando una coda condivisa

Cose da sapere:

• Sono molto interessato a prestazioni di velocità per questo compito
• Ogni linea è indipendente
• sto lavorando questo in C++, ma credo che il problema qui è un po 'indipendente dal linguaggio

Quale opzione sceglieresti e perché?

Answer 1

Vorrei suggerire la seconda opzione, dal momento che sarà più chiara la progettazione e meno complicata della prima opzione. La prima opzione è meno scalabile e richiede ulteriori comunicazioni tra thread per sincronizzare lo stato di avanzamento sulle righe del file. Mentre nella seconda opzione hai un dispatcher che si occupa dell'IO e avvia i thread dei lavoratori per iniziare il calcolo, e ogni thread di calcolo è completamente indipendente l'uno dall'altro, quindi ti consente di ridimensionare. Inoltre nella seconda opzione separa la tua logica in modo più chiaro.

Answer 2

Se ogni riga è veramente indipendente e l'elaborazione è molto più lenta della lettura del file, è possibile leggere tutti i dati contemporaneamente e archiviarli in una matrice, in modo che ogni riga rappresenti l'elemento di una matrice.

Quindi tutti i thread possono eseguire l'elaborazione in parallelo. Ad esempio, se si dispone di 200 righe e 4 thread, ogni thread potrebbe eseguire il calcolo su 50 righe. Morever, dal momento che questo metodo sarebbe imbarazzantemente parallelo, si potrebbe facilmente usare OpenMP per questo.

Answer 3

Se stiamo parlando di file di grandi dimensioni, che devono essere elaborati con un cluster di grandi dimensioni - MapReduce è probabilmente la soluzione migliore.

Il framework consente una grande scalabilità e gestisce già tutto il lavoro sporco di gestione degli operatori e tollerando i guasti per voi.
Il framework è specificamente progettato per ricevere i file letti dal file system [originariamente per GFS] come input.

Si noti che non v'è un'implementazione open source di mappa-riducono: Apache Hadoop

Answer 4

Vorrei suggerire la seconda opzione perché è sicuramente meglio di design-saggio e permetterebbe di avere un migliore controllo del lavoro che il lavoratore le discussioni stanno facendo

inoltre che aumenterebbe le prestazioni in quanto la comunicazione inter-thread in questo caso è il minimo delle due opzioni descritte

Answer 5

Un'altra opzione è quella di memoria mappa il file e mantenere una struttura comune movimentazione mutua esclusione correttamente i fili.