Come si esegue il tokenize di una frase stringa in NLTK?

Question

Sto usando nltk, quindi voglio creare i miei testi personalizzati proprio come quelli di default su nltk.books. Tuttavia, ho appena alzato al metodo come

my_text = ['This', 'is', 'my', 'text'] 

mi piacerebbe scoprire un modo per inserire il mio "testo" come:

my_text = "This is my text, this is a nice way to input text." 

Quale metodo, pitone di o da NLTK permette io per fare questo E ancora più importante, come posso sottovalutare i simboli di punteggiatura?

Answer 1

Questo è in realtà il main page of nltk.org:

>>> import nltk 
>>> sentence = """At eight o'clock on Thursday morning 
... Arthur didn't feel very good.""" 
>>> tokens = nltk.word_tokenize(sentence) 
>>> tokens 
['At', 'eight', "o'clock", 'on', 'Thursday', 'morning', 
'Arthur', 'did', "n't", 'feel', 'very', 'good', '.'] 

Answer 2

come risposta @PavelAnossov, la risposta canonica, utilizzare la funzione word_tokenize in NLTK:

from nltk import word_tokenize 
sent = "This is my text, this is a nice way to input text." 
word_tokenize(sent) 

---

Se la frase è veramente abbastanza semplice:

Utilizzando il set string.punctuation, rimuovere la punteggiatura quindi diviso utilizzando il delimitatore spazio bianco:

import string 
x = "This is my text, this is a nice way to input text." 
y = "".join([i for i in x if not in string.punctuation]).split(" ") 
print y