Passaggio di messaggi C++ multi-threaded

Question

Ho il compito di modificare un programma C sincrono in modo che possa essere eseguito in parallelo. L'obiettivo è di renderlo il più portabile possibile in quanto è un programma open source utilizzato da molte persone. Per questo motivo, ho pensato che sarebbe stato meglio avvolgere il programma in un livello C++ in modo da sfruttare le librerie boost portatili. L'ho già fatto e tutto sembra funzionare come previsto.

Il problema che sto avendo è decidere quale sia l'approccio migliore per passare i messaggi tra i thread. Fortunatamente, l'architettura del programma è quella di un produttore multiplo e di un singolo consumatore. Ancora meglio, l'ordine dei messaggi non è importante. Ho letto che le code single-producer/single-consumer (SPSC) trarrebbero beneficio da questa architettura. Quelli con esperienza di programmazione multi-threaded hanno qualche consiglio? Sono abbastanza nuovo per questa roba. Sarebbe molto apprezzato anche qualsiasi esempio di codice che utilizza boost per implementare SPSC.

Answer 1

Di seguito è la tecnica che ho utilizzato per la mia libreria Cooperative Multi-tasking/Multi-threading (MACE) http://bytemaster.github.com/mace/. Ha il vantaggio di essere privo di blocco tranne quando la coda è vuota.

Answer 2

Se esiste un solo consumatore ma più produttori, quindi utilizzerei un array o una struttura di dati di tipo array con O (1) tempo di accesso in cui ogni slot di matrice rappresenta una coda di singolo produttore-consumatore. Il grande vantaggio di una coda single-producer-consumer è il fatto che è possibile renderlo lock-free senza meccanismi di sincronizzazione espliciti, rendendo così una struttura dati molto veloce in un ambiente multi-thread. Vedere my answer here per un'implementazione bare-bone di una coda single-producer-consumer.

Answer 3

Esistono molti esempi di code produttore-consumatore in rete, sicure per più produttori/consumatori. @bytemaster ha pubblicato uno che utilizza un collegamento all'interno di ciascun messaggio per eliminare lo spazio di archiviazione nella stessa classe della coda: questo è un buon approccio, lo utilizzo io stesso sui processi incorporati.

Laddove la classe di coda deve fornire spazio di archiviazione, di solito vado con una 'coda di riserva' di dimensione N, caricata con istanze di classe di messaggio N * all'avvio. I thread che devono comunicare devono inserire un messaggio * dal pool, caricarlo e accodarlo. Quando alla fine 'esaurito' il messaggio * viene reimmesso nella piscina. Ciò limita il numero di messaggi e quindi tutte le code devono essere solo di lunghezza N - nessun ridimensionamento, nessuna nuova(), nessuna cancellazione(), facile rilevamento delle perdite.