Memoria CUDA per tabelle di ricerca

Question

Sto progettando un set di funzioni matematiche e le implemento in entrambe le versioni CPU e GPU (con CUDA).

Alcune di queste funzioni sono basate su tabelle di ricerca. La maggior parte dei tavoli prende 4KB, alcuni di loro un po 'di più. Le funzioni basate sulle tabelle di ricerca prendono un input, selezionano una o due voci della tabella di ricerca e quindi calcolano il risultato interpolando o applicando tecniche simili.

La mia domanda è ora: dove devo salvare queste tabelle di ricerca? Un dispositivo CUDA ha molte posizioni per la memorizzazione dei valori (memoria globale, memoria costante, memoria texture, ...). Ammesso che ogni tabella possa essere letta contemporaneamente da più thread e che i valori di input, e quindi gli indici di ricerca, possano essere completamente non correlati tra i thread di ogni warp (con conseguente accesso non correlato alla memoria), quale memoria fornisce l'accesso più veloce?

Aggiungo che il contenuto di queste tabelle è precalcolato e completamente costante.

EDIT

Giusto per chiarire: ho bisogno di memorizzare circa 10 diverse tabelle 4KB di ricerca. In ogni caso sarebbe bello sapere se la soluzione come per questo caso sarebbe la stessa per il caso con, ad es. 100 tabelle 4KB o con ad es. 10 tabelle di ricerca 16KB.

Answer 1

La memoria di trama (ora denominata cache di sola lettura) sarebbe probabilmente una scelta da esplorare, anche se non per i benefici dell'interpolazione. Supporta letture a 32 bit senza leggere oltre questa quantità. Tuttavia, sei limitato a 48K in totale. Per Kepler (calcolo 3.x) questo è abbastanza semplice da programmare ora.

La memoria globale, a meno che non la si configuri in modalità a 32 bit, trascinerà spesso 128 byte per ogni thread, moltiplicando enormemente i dati effettivamente necessari dalla memoria man mano che (apparentemente) non si riesce a convogliare gli accessi alla memoria. Quindi la modalità a 32 bit è probabilmente quella che ti serve se vuoi usare più di 48K (hai menzionato 40K).

Pensando a coalescenza, se si dovesse accedere a un insieme di valori in serie da queste tabelle, si potrebbe essere in grado di interlacciare le tabelle in modo tale che tali combinazioni possano essere raggruppate e lette come una lettura di 64 o 128 bit per thread. Ciò significherebbe che le letture a 128 byte dalla memoria globale potrebbero essere utili.

Il problema che si ha è che si sta limitando la larghezza di banda della memoria della soluzione utilizzando le tabelle di ricerca. Cambiare la dimensione della cache L1 (su Fermi/calcolo 2.x) a 48K probabilmente farà una differenza significativa, specialmente se non stai utilizzando gli altri 32K di memoria condivisa. Prova la memoria texture e poi la memoria globale in modalità a 32 bit e vedi quale funziona meglio per il tuo algoritmo. Infine, scegli una scheda con una buona larghezza di banda di memoria se hai una scelta sull'hardware.