Ho un file CSV di grandi dimensioni (7.3 GB, 16.300.000 righe), come posso dividere questo file in due file?Come posso dividere file di grandi dimensioni?
6
A
risposta
16
Hai dato un'occhiata al comando split
? Vedere la pagina thisman per ulteriori informazioni.
Questo page contiene un esempio di utilizzo di questo comando.
parte:
il comando man -k
è piuttosto utile per trovare i comandi UNIX/Linux, se non siete abbastanza sicuro che cosa il comando specifico è. Specificare una parola chiave con il comando man -k e il sistema estrarrà i comandi correlati. Per esempio,
% man -k split
sarà resa:
csplit (1) - split a file into sections determined by context lines
dirsplit (1) - splits directory into multiple with equal size
dpkg-split (1) - Debian package archive split/join tool
gpgsplit (1) - Split an OpenPGP message into packets
pnmsplit (1) - split a multi-image portable anymap into multiple single-image files
ppmtoyuvsplit (1) - convert a portable pixmap into 3 subsampled raw YUV files
split (1) - split a file into pieces
splitdiff (1) - separate out incremental patches
splitfont (1) - extract characters from an ISO-type font.
URI::Split (3pm) - Parse and compose URI strings
wcstok (3) - split wide-character string into tokens
yuvsplittoppm (1) - convert a Y- and a U- and a V-file into a portable pixmap
zipsplit (1) - split a zipfile into smaller zipfiles
1
spaccatura -d -n l/N filename.csv tempfile.part.
divide il file in N file senza dividere le righe. Come menzionato nei commenti sopra, l'intestazione non viene ripetuta in ogni file.
Problemi correlati
- 1. Come dividere in modo efficiente file di grandi dimensioni
- 2. Dividere un file di grandi dimensioni in C++
- 3. Come organizzare file di grandi dimensioni?
- 4. File JSON di grandi dimensioni
- 5. Come posso leggere, sostituire e scrivere file di grandi dimensioni?
- 6. Come posso elaborare un file di grandi dimensioni tramite CSVParser?
- 7. Comando shell per dividere file di grandi dimensioni in 10 file più piccoli
- 8. File di grandi dimensioni e hashing - preoccupazione
- 9. modo Efficiente di dividere un file di testo di grandi dimensioni in python
- 10. Supporto file di grandi dimensioni in C++
- 11. Carica file di grandi dimensioni nginx + uwsgi
- 12. Caricamento file di Google App Engine di grandi dimensioni
- 13. PyInstaller dimensioni file molto grandi
- 14. dividere file di testo CSV di grandi dimensioni in base al valore della colonna
- 15. Caricamenti di file di grandi dimensioni
- 16. Xampp - PHPMyAdmin carica file di grandi dimensioni?
- 17. Elaborazione di file xlsx di grandi dimensioni
- 18. Elaborazione di file xml di grandi dimensioni
- 19. PDFbox caricamento di file di grandi dimensioni
- 20. CodeIgniter Caricamento di file di grandi dimensioni
- 21. Leggere file di grandi dimensioni in Java
- 22. Caricamento file di grandi dimensioni con WebSocket
- 23. Come posso dividere una matrice in sottomatrici di dimensioni diverse?
- 24. Leggi file di grandi dimensioni in parallelo?
- 25. Android: scarica file di grandi dimensioni
- 26. xmlstarlet sel su file di grandi dimensioni
- 27. Excel non apre file di grandi dimensioni
- 28. Qual è il modo migliore per dividere file di grandi dimensioni in Python per il multiprocessing?
- 29. Come convalidare file XML di grandi dimensioni (> 100 MB)
- 30. Come caricare file di grandi dimensioni MB sql in phpMyAdmin
Ciao, la sintassi è corretta? ** split --lines = 5 1.csv ** – sprabhakaran
@spk: la sintassi è corretta, ma in questo modo il file verrà diviso in 3.260.000 file. Dovresti scegliere un valore più alto, qualsiasi importo superiore a 8.150.000 e inferiore a 16.300.000 creerà due file. – Zeta
Come @spk menzionato selezionando i giusti valori farà quello che vuoi. Se una qualsiasi delle domande che hai posto su SO ha fornito la risposta giusta alle tue domande, sentiti libero di accettarle - http://meta.stackexchange.com/questions/5234/how-does-accepting-an-answer-work – Levon