Compattamento CUDA Stream: comprensione del concetto

Question

Sto usando CUDA/Thrust/CUDPP. Come ho capito, nella compattazione Stream, alcuni elementi in un array sono contrassegnati come non validi e quindi "rimossi".

Ora che cosa significa "rimozione" significa veramente qui? Supponiamo che l'array originale A e ha lunghezza 6. Se 2 elementi sono validi (da qualunque condizione ci possono fornire) allora

1. Il sistema crea una nuova array di dimensione 4 GPU memoria per memorizzare il elementi validi per ottenere il risultato finale?

2. OPPURE rimuove fisicamente gli elementi non validi dalla memoria e riduce l'array originale A alla dimensione 4 mantenendo solo gli elementi validi?

In entrambi i casi, ciò non significa che l'allocazione dinamica della memoria sta avvenendo sotto il cofano? Ma avevo sentito dire che l'allocazione dinamica della memoria non è possibile nel mondo CUDA.

Answer 1

Innanzitutto, l'allocazione dinamica della memoria è possibile in CUDA su dispositivi con capacità di calcolo 2.0 e superiori. La libreria di runtime CUDA supporta malloc/free e new/delete nelle funzioni __device__. Ma non è pertinente alla risposta, davvero.

In genere viene fornito un array di uscita sufficientemente grande (pre-allocato, spesso della stessa dimensione dell'array di input) e l'output viene scritto su di esso. Non è richiesta alcuna allocazione dinamica, ma esiste potenzialmente un rifiuto di archiviazione. Questo è ciò che CUDPP e spinta fanno. Un'alternativa sarebbe quella di eseguire prima un conteggio di elementi validi, quindi allocare la memoria GPU in uscita in modo dinamico usando cudaMalloc chiamato dalla CPU host.