Python CSV errore: riga contiene byte NULL

Question

Sto lavorando con alcuni file CSV, con il seguente codice:

reader = csv.reader(open(filepath, "rU")) 
try: 
    for row in reader: 
     print 'Row read successfully!', row 
except csv.Error, e: 
    sys.exit('file %s, line %d: %s' % (filename, reader.line_num, e)) 

e un file sta gettando questo errore:

file my.csv, line 1: line contains NULL byte 

cosa posso fare? Google sembra suggerire che potrebbe trattarsi di un file Excel che è stato salvato come .csv in modo errato. C'è un modo per aggirare questo problema in Python?

AGGIORNAMENTO == ==

seguito @ commento di JohnMachin di seguito, ho provato ad aggiungere queste righe al mio script:

print repr(open(filepath, 'rb').read(200)) # dump 1st 200 bytes of file 
data = open(filepath, 'rb').read() 
print data.find('\x00') 
print data.count('\x00') 

e questo è l'output che ho ottenuto:

'\xd0\xcf\x11\xe0\xa1\xb1\x1a\xe1\x00\x00\x00\x00\x00\x00\x00\x00\ .... <snip> 
8 
13834 

Quindi il file contiene infatti NUL byte.

Answer 1

Perché stai facendo questo?

reader = csv.reader(open(filepath, "rU")) 

La documentazione è abbastanza chiaro che si deve fare questo:

with open(filepath, "rb") as src: 
    reader= csv.reader(src) 

La modalità deve essere "rb" per leggere.

http://docs.python.org/library/csv.html#csv.reader

If csvfile is a file object, it must be opened with the ‘b’ flag on platforms where that makes a difference.

Answer 2

Come @ S. Lott dice, si dovrebbe aprire i file in modalità 'rb', non in modalità 'ru'. Tuttavia, questo NON può causare il tuo problema attuale. Per quanto ne so, l'uso della modalità 'rU' potrebbe rovinarti se ci sono dati \r incorporati nei dati, ma non causare altri drammi. Nota inoltre che hai diversi file (tutti aperti con 'rU' ??) ma solo uno causa un problema.

Se il modulo csv dice che nel file è presente un byte "NULL" (messaggio silly, dovrebbe essere "NUL"), è necessario controllare cosa è nel file. Ti suggerirei di farlo anche se l'uso di 'rb' fa andare via il problema.

repr() è (o vuole essere) il tuo amico di debug. Mostrerà inequivocabilmente ciò che hai, in una piattaforma indipendente (che è utile per gli helper che non sanno cosa sia o non sia od). Fare questo:

print repr(open('my.csv', 'rb').read(200)) # dump 1st 200 bytes of file 

e con attenzione copia/incolla (non digitare nuovamente) il risultato in una modifica della tua domanda (non in un commento).

Si noti inoltre che se il file è davvero rischioso, ad es. no \ r \ n entro ragionevole distanza dall'inizio del file, il numero di riga riportato da reader.line_num saranno (inutilmente) 1. Trovare dove il primo \x00 è (se presente) facendo

data = open('my.csv', 'rb').read() 
print data.find('\x00') 

e fare sicuro di aver scaricato almeno tanti byte con repr o od.

Che cosa dice data.count('\x00')?Se ce ne sono molti, potresti voler fare qualcosa come

for i, c in enumerate(data): 
    if c == '\x00': 
     print i, repr(data[i-30:i]) + ' *NUL* ' + repr(data[i+1:i+31]) 

in modo da poter vedere i byte NUL nel contesto.

Se è possibile vedere \x00 in uscita (o \0 nel vostro od -c uscita), quindi è sicuramente NUL byte (s) nel file, ed è necessario fare qualcosa di simile:

fi = open('my.csv', 'rb') 
data = fi.read() 
fi.close() 
fo = open('mynew.csv', 'wb') 
fo.write(data.replace('\x00', '')) 
fo.close() 

A proposito, hai guardato il file (comprese le ultime righe) con un editor di testo? In realtà sembra un file CSV ragionevole come l'altro (nessun file di eccezione "NULL byte")?

Answer 3

appparently si tratta di un file XLS e non un file CSV come http://www.garykessler.net/library/file_sigs.html confermano

Answer 4

mi sono imbattuto in questo problema pure. Utilizzando il modulo Python csv, stavo cercando di leggere un file XLS creato in MS Excel e in esecuzione nell'errore NULL byte che si stava ottenendo. Mi sono guardato intorno e ho trovato il modulo Python xlrd per leggere e formattare i dati dai file di foglio di lavoro di MS Excel. Con il modulo xlrd, non solo sono in grado di leggere correttamente il file, ma posso anche accedere a molte parti diverse del file in un modo che non potevo prima.

Ho pensato che potrebbe aiutarti.

Answer 5

Ho ricevuto lo stesso errore. Salvato il file in UTF-8 e ha funzionato.

Answer 6

La conversione della codifica del file sorgente da UTF-16 a UTF-8 risolve il mio problema.

How to convert a file to utf-8 in Python?

import codecs 
BLOCKSIZE = 1048576 # or some other, desired size in bytes 
with codecs.open(sourceFileName, "r", "utf-16") as sourceFile: 
    with codecs.open(targetFileName, "w", "utf-8") as targetFile: 
     while True: 
      contents = sourceFile.read(BLOCKSIZE) 
      if not contents: 
       break 
      targetFile.write(contents) 

Answer 7

Invece di lettore csv Io uso file letto e funzione split per la stringa:

lines = open(input_file,'rb') 

for line_all in lines: 

    line=line_all.replace('\x00', '').split(";") 

Answer 8

Questo è successo a me quando ho creato un file CSV con OpenOffice Calc. Non è successo quando ho creato il file CSV nel mio editor di testo, anche se in seguito l'ho modificato con Calc.

Ho risolto il mio problema copiando nell'editor di testo i dati del mio file creato da Calc in un nuovo file creato da un editor.

Answer 9

Ho avuto lo stesso problema aprendo un CSV prodotto da un servizio web che ha inserito byte NULL in intestazioni vuote. Ho fatto quello che segue per il file:

with codecs.open ('my.csv', 'rb', 'utf-8') as myfile: 
    data = myfile.read() 
    # clean file first if dirty 
    if data.count('\x00'): 
     print 'Cleaning...' 
     with codecs.open('my.csv.tmp', 'w', 'utf-8') as of: 
      for line in data: 
       of.write(line.replace('\x00', '')) 

     shutil.move('my.csv.tmp', 'my.csv') 

with codecs.open ('my.csv', 'rb', 'utf-8') as myfile: 
    myreader = csv.reader(myfile, delimiter=',') 
    # Continue with your business logic here... 

responsabilità: Essere consapevoli che questo sovrascrive i dati originali. Assicurati di averne una copia di backup. Sei stato avvertito!

Answer 10

Per tutti quei 'ru' odiano FileMode: Ho appena provato ad aprire un file CSV da una macchina Windows su un Mac con il fileMode 'rb' e ho ottenuto questo errore dal modulo csv:

Error: new-line character seen in unquoted field - do you need to 
open the file in universal-newline mode? 

L'apertura del file in modalità 'rU' funziona correttamente. Adoro la modalità newline universale: mi risparmia tanto fastidio.

Answer 11

Leggendolo come UTF-16 era anche il mio problema.

Ecco il mio codice che ha finito per lavorare:

f=codecs.open(location,"rb","utf-16") 
csvread=csv.reader(f,delimiter='\t') 
csvread.next() 
for row in csvread: 
    print row 

Dove posizione è la directory del file CSV.

Answer 12

L'ho riscontrato quando si utilizzava scrapy e si scaricava un file csv zippato senza avere un middleware corretto per decomprimere il corpo della risposta prima di passarlo al csvreader. Quindi il file non era realmente un file CSV e ha gettato l'errore line contains NULL byte di conseguenza.

Answer 13

Si potrebbe semplicemente inline un generatore per filtrare i valori nulli se si vuole far finta che non esistano. Ovviamente questo presuppone che i byte null non facciano realmente parte della codifica e siano in realtà una sorta di artefatto o bug errati.

with open(filepath, "rb") as f: 
    reader = csv.reader((line.replace('\0','') for line in f)) 

    try: 
     for row in reader: 
      print 'Row read successfully!', row 
    except csv.Error, e: 
     sys.exit('file %s, line %d: %s' % (filename, reader.line_num, e)) 

Answer 14

data_initial = open("staff.csv", "rb") 
data = csv.reader((line.replace('\0','') for line in data_initial), delimiter=",") 

questo funziona per me.

Answer 15

Un caso è che - Se il file CSV contiene righe vuote, questo errore potrebbe apparire. Controlla che la riga sia necessaria prima di procedere alla scrittura o alla lettura.

for row in csvreader: 
     if (row):  
      do something 

Ho risolto il problema aggiungendo questo controllo nel codice.