pitone errore nltk.sent_tokenize ascii codec non può decodificare

Question

ho potuto leggere correttamente il testo in una variabile, ma durante il tentativo di tokenize i testi nel mese di ottenere questo strano errore:

sentences=nltk.sent_tokenize(sample) 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 11: ordinal not in range(128) 

faccio conoscere la causa dell'errore è qualche stringa/char speciale che il tokenizer non è in grado di leggere/decodificare ma come ignorarlo? Grazie

Answer 1

si dovrebbe provare questo:

sentences=nltk.sent_tokenize(sample.decode('utf-8')) 

Answer 2

In poche parole, la funzione di pos_tag NLTK3 non funziona.

La funzione NLTK2 funziona correttamente, tuttavia.

pip disinstallazione NLTK

pip installare http://pypi.python.org/packages/source/n/nltk/nltk-2.0.4.tar.gz

D'altra parte, il tagger è piuttosto male (a quanto pare 'giardino d'inverno' è un verbo). Vorrei che SpaCy lavorasse su Windows.