Cosa succede se due script Python vogliono scrivere nello stesso file?

Question

Ho una pipeline che a un certo punto suddivide il lavoro in vari sottoprocessi che fanno la stessa cosa in parallelo. Quindi il loro output dovrebbe andare nello stesso file.

È troppo rischioso dire che tutti questi processi dovrebbero scrivere nello stesso file? Oppure Python prova a riprovare se vede che questa risorsa è occupata?

Answer 1

In generale, questa non è una buona idea e richiederà molta attenzione per ottenere il risultato corretto. Poiché le scritture dovranno essere serializzate, potrebbe anche influire negativamente sulla scalabilità.

Si consiglia di scrivere per separare i file e unirli (o semplicemente lasciandoli come file separati).

Answer 2

Questo dipende dal sistema. In Windows, la risorsa è bloccata e ottieni un'eccezione. In Linux è possibile scrivere il file con due processi (i dati scritti potrebbero essere mescolati)

Idealmente in questi casi si dovrebbe usare semafori per sincronizzare l'accesso alle risorse condivise.

Se si utilizza semafori è troppo pesante per le vostre esigenze, allora l'unica alternativa è quella di scrivere in file separati ...

Edit: Come sottolineato da occhio a later post, un gestore di risorse è un'altra alternativa per gestire scrittori concorrenti

Answer 3

Una soluzione migliore consiste nell'implementare un gestore risorse (writer) per evitare di aprire due volte lo stesso file. Questo gestore potrebbe utilizzare meccanismi di sincronizzazione dei thread (threading.Lock) per evitare l'accesso simultaneo su alcune piattaforme.

Answer 4

Che ne dici se tutti i diversi processi scrivono il loro output in una coda e hanno un singolo processo che legge quella coda e scrive nel file?