Determinare se una parola è un nome o meno

Question

Data una parola di input, voglio determinare se si tratta di un sostantivo o meno (in caso di ambiguità, ad esempio cook può essere un nome o un verbo, la parola deve essere identificata come un nome).

In realtà io uso il tagger POS dallo Stanford Parser (gli ho dato una sola parola come input e estraggo solo il tag POS dal risultato). I risultati sono abbastanza buoni ma ci vuole molto tempo.

C'è un modo (in python, per favore :) per eseguire questa attività più veloce di quello che faccio in realtà?

Answer 1

Se si desidera semplicemente verificare se una singola parola può essere utilizzata o meno come nome, il modo più rapido potrebbe essere quello di creare un insieme di tutti i nomi e quindi controllare semplicemente la parola per l'appartenenza a quel set.

Per un elenco di tutti i nomi è possibile utilizzare il WordNet corpus (a cui si accede attraverso NLTK per esempio):

>>> from nltk.corpus import wordnet as wn 
>>> nouns = {x.name().split('.', 1)[0] for x in wn.all_synsets('n')} 
>>> "cook" in nouns 
True 
>>> "and" in nouns 
False 

Answer 2

Non posso parlare per il wrapper Python, ma se si utilizza la Stanford POS tagger anziché il parser, dovrebbe essere molto più veloce. Esistono wrapper per Stanford CoreNLP, che include il tagger: https://pypi.python.org/pypi/corenlp-python; o, sembra che nltk abbia un modulo tagger Stanford anche http://www.nltk.org/_modules/nltk/tag/stanford.html.

È inoltre possibile ottenere risultati migliori se si incorpora la singola parola in una frase giocattolo. Qualcosa come "The X is a thing." A seconda della frase, questo può influenzare o allontanare dall'indovinare anche le parole come nomi.

Answer 3

Vorrei in secondo luogo l'utilizzo di Wordnet se si controllano singole parole. Ho anche utilizzato TreeTagger liberamente disponibile: http://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/ Il file binario è molto veloce e supporta più lingue. Se hai bisogno di una soluzione Pythonic pura, controlla l'implementazione NLTK di Brill Tagger: http://www.nltk.org/_modules/nltk/tag/brill.html