Lotto elimina un numero elevato di file

Question

I file caricati dall'utente ogni giorno più di un mese vengono eliminati dal server. I caricamenti degli utenti vengono memorizzati nelle directory di giorno in giorno (ad esempio /var/www/media/2013-03-13), quindi è facile identificare i file/directory che devono essere eliminati.

Problema: L'eliminazione di 100.000 file alla volta rende il server non risponde e richiede molto tempo. (Ubuntu 12.04 con 2x2TB ext4 SATA3 hdd nel software RAID1). Al momento PHP sta facendo exec sul comando find /path/to/dir -maxdepth 1 -name '*' -delete.

Come dividere i file necessari per la cancellazione? Fare un ls impiegherà molto tempo su quelle grandi directory.

La soluzione non deve essere in PHP. Non ha nemmeno bisogno di dividere i file in lotti più piccoli

Answer 1

1. Trova le directory dei giorni in cui si desidera conservare
2. Trova le directory di tutti giorni
3. rimuovere 1. da 2.
4. rm -rf le directory che si ottiene da 3.

Non sono sicuro se questo è più veloce del metodo, ma evita di elencare esplicitamente tutti i file nelle directory.

Answer 2

Il trucco non è leggere tutti i file, ma usare readdir per ottenerli uno per uno. Vedere Perl to the rescue: case study of deleting a large directory per una soluzione Perl.