Come parallelizzare la lettura e la scrittura

Question

Ho un programma che legge i dati da 2 file di testo e quindi salvare il risultato in un altro file file. Dato che ci sono molti dati da leggere e scrivere che causano un successo nelle prestazioni, voglio parallelizzare le operazioni di lettura e scrittura.

Il mio primo pensiero è, utilizzare 2 fili come un esempio, un thread di lettura/scrittura fin dall'inizio, e un altro thread di lettura/scrittura a partire dalla metà del file. Poiché i miei file sono formattati come linee, non come byte (ogni riga può avere diversi byte di dati), la ricerca per byte non funziona per me. E la soluzione che potrei pensare è usare getline() per saltare prima le righe precedenti, il che potrebbe non essere efficiente.

C'è un buon modo per cercare di una linea specificata in un file? o hai altre idee per mettere in parallelo la lettura e la scrittura di file?

Ambiente: Win32, C++, NTFS, singolo disco rigido

Grazie.

-Dbger

Answer 1

In generale, NON si vuole per parallelizzare disco I/O. I dischi rigidi non amano l'I/O casuale perché devono continuamente cercare in giro per arrivare ai dati. Supponendo che non si stia utilizzando RAID e che si stiano utilizzando dischi rigidi anziché una memoria allo stato solido, si riscontrerà un grave peggioramento delle prestazioni se si parallelizza l'I/O (anche quando si utilizzano tecnologie come queste, è ancora possibile vedere alcune prestazioni degrado quando si eseguono molti I/O casuali).

Per rispondere alla tua seconda domanda, non c'è davvero un buon modo per cercare di una certa riga in un file; si può solo cercare in modo esplicito ad un offset usando la funzione read byte (vedi this page per maggiori dettagli su come usarlo.

Answer 2

Questo non è davvero una risposta alla tua domanda, ma piuttosto un re-design (che tutti noi l'odio ma non posso fare nulla) Come già accennato, cercare di accelerare I/O su un disco rigido con più thread probabilmente non sarà di aiuto

Tuttavia, potrebbe essere possibile utilizzare un altro approccio a seconda della sensibilità dei dati , esigenze di throughput, dimensioni dei dati, ecc. Non sarebbe difficile creare una struttura in memoria che mantenga un'immagine dei dati e consenta aggiornamenti facili e veloci delle righe di testo in qualsiasi punto dei dati. Potresti quindi utilizzare una discussione dedicata che controlla semplicemente quella struttura e il cui compito è scrivere i dati sul disco. Scrivere i dati sequenzialmente su disco può essere estremamente veloce; può essere molto più veloce che cercare casualmente in sezioni diverse e scriverlo a pezzi.

Answer 3

Queuing più letture e le scritture non aiuterà quando si sta eseguendo contro un disco. Se la tua app ha anche lavorato molto sulla CPU, potresti fare letture e scritture in modo asincrono e lasciare che la CPU funzioni mentre l'I/O del disco viene eseguito in background. In alternativa, prendi un secondo disco rigido fisico: leggi da uno, scrivi all'altro. Per insiemi di dati di dimensioni modeste che sono spesso efficaci e un po 'più economici rispetto alla scrittura di codice.