Come posso creare il mio testo NLTK da un file di testo?

Question

Sono uno studente laureato in letteratura, e ho letto il libro O'Reilly in Natural Language Processing (nltk.org/book). Sembra incredibilmente utile. Ho giocato con tutti i testi di esempio e le attività di esempio nel Capitolo 1, come le concordanze. Ora so quante volte Moby Dick usa la parola "balena". Il problema è che non riesco a capire come eseguire questi calcoli su uno dei miei testi. Ho trovato informazioni su come creare i miei corpora personali (capitolo 2 del libro di O'Reilly), ma non penso che sia esattamente quello che voglio fare. In altre parole, io voglio essere in grado di fare

import nltk 
text1.concordance('yellow') 

e ottenere i luoghi dove la parola 'giallo' è usato nel mio testo. Al momento posso farlo con i testi di esempio, ma non i miei.

Sono molto nuovo a Python e alla programmazione, quindi questa roba è molto eccitante, ma molto confusa.

Answer 1

Ho trovato la risposta da solo. Questo è imbarazzante. O fantastico.

Dal cap. 3:

f=open('my-file.txt','rU') 
raw=f.read() 
tokens = nltk.word_tokenize(raw) 
text = nltk.Text(tokens) 

Il trucco.

Answer 2

Per un'importazione strutturata di più file:

from nltk.corpus import PlaintextCorpusReader 

# RegEx or list of file names 
files = ".*\.txt" 

corpus0 = PlaintextCorpusReader("/path/", files) 
corpus = nltk.Text(corpus0.words()) 

vedi: NLTK 3 book/sezione di 1,9