"Riga contiene byte NULL" nel lettore CSV (Python)

Question

Sto provando a scrivere un programma che guarda un file .CSV (input.csv) e riscrive solo le righe che iniziano con un determinato elemento (corrected.csv), come elencato in un file di testo (output.txt).

Questo è ciò che il mio programma si presenta come in questo momento:

import csv 

lines = [] 
with open('output.txt','r') as f: 
    for line in f.readlines(): 
     lines.append(line[:-1]) 

with open('corrected.csv','w') as correct: 
    writer = csv.writer(correct, dialect = 'excel') 
    with open('input.csv', 'r') as mycsv: 
     reader = csv.reader(mycsv) 
     for row in reader: 
      if row[0] not in lines: 
       writer.writerow(row) 

Purtroppo, continuo a ricevere questo errore, e non ho idea di cosa si tratta.

Traceback (most recent call last): 
    File "C:\Python32\Sample Program\csvParser.py", line 12, in <module> 
    for row in reader: 
_csv.Error: line contains NULL byte 

credito a tutte le persone here per anche per farmi a questo punto.

Answer 1

Ho risolto un problema simile con una soluzione più semplice:

import codecs 
csvReader = csv.reader(codecs.open('file.csv', 'rU', 'utf-16')) 

La chiave era usando il modulo codecs per aprire il file con la codifica UTF-16, ci sono molte più codifiche, controlla lo documentation.

Answer 2

Suppongo che tu abbia un byte NUL in input.csv. È possibile verificare che, con

if '\0' in open('input.csv').read(): 
    print "you have null bytes in your input file" 
else: 
    print "you don't" 

se lo fai,

reader = csv.reader(x.replace('\0', '') for x in mycsv) 

può ottenere intorno a quello. Oppure potrebbe indicare che hai utf16 o qualcosa di 'interessante' nel file .csv.

Answer 3

Questo ti dirà quale sia il problema.

import csv 

lines = [] 
with open('output.txt','r') as f: 
    for line in f.readlines(): 
     lines.append(line[:-1]) 

with open('corrected.csv','w') as correct: 
    writer = csv.writer(correct, dialect = 'excel') 
    with open('input.csv', 'r') as mycsv: 
     reader = csv.reader(mycsv) 
     try: 
      for i, row in enumerate(reader): 
       if row[0] not in lines: 
        writer.writerow(row) 
     except csv.Error: 
      print('csv choked on line %s' % (i+1)) 
      raise 

Forse this da daniweb sarebbe utile:

I'm getting this error when reading from a csv file: "Runtime Error! line contains NULL byte". Any idea about the root cause of this error?

...

Ok, I got it and thought I'd post the solution. Simply yet caused me grief... Used file was saved in a .xls format instead of a .csv Didn't catch this because the file name itself had the .csv extension while the type was still .xls

Answer 4

Si potrebbe semplicemente inline un generatore per filtrare i valori nulli se si vuole far finta che non esistano. Ovviamente questo presuppone che i byte null non facciano realmente parte della codifica e siano in realtà una sorta di artefatto o bug errati.

Vedere il numero (line.replace('\0','') for line in f) di seguito, probabilmente si aprirà probabilmente il file utilizzando la modalità rb.

import csv 

lines = [] 
with open('output.txt','r') as f: 
    for line in f.readlines(): 
     lines.append(line[:-1]) 

with open('corrected.csv','w') as correct: 
    writer = csv.writer(correct, dialect = 'excel') 
    with open('input.csv', 'rb') as mycsv: 
     reader = csv.reader((line.replace('\0','') for line in mycsv)) 
     for row in reader: 
      if row[0] not in lines: 
       writer.writerow(row) 

Answer 5

Ho risolto il problema di recente e nel mio caso si trattava di un file compresso che stavo cercando di leggere. Controlla prima il formato del file. Quindi controlla che il contenuto sia ciò a cui si riferisce l'estensione.

Answer 6

Trasformare il mio ambiente Linux in un ambiente UTF-8 completo e pulito ha fatto il trucco per me. Provare quanto segue nella riga di comando:

export LC_ALL=en_US.UTF-8 
export LANG=en_US.UTF-8 
export LANGUAGE=en_US.UTF-8 

Answer 7

Un modo ingannevole:

Se si sviluppa sotto Lunux, è possibile utilizzare tutta la potenza di sed:

from subprocess import check_call, CalledProcessError 

PATH_TO_FILE = '/home/user/some/path/to/file.csv' 

try: 
    check_call("sed -i -e 's|\\x0||g' {}".format(PATH_TO_FILE), shell=True) 
except CalledProcessError as err: 
    print(err)  

Il più soluzione efficiente per file enormi.

Controllato per python3, Kubuntu