Prestazioni lente del tagging POS. Posso fare una specie di pre-riscaldamento?

Question

Sto utilizzando NLTK per il tag POS hundered di tweet in una richiesta web. Come sai, Django crea un'istanza di un gestore di richieste per ogni richiesta.

Ho notato questo: per una richiesta (~ 200 tweets), il primo tweet ha bisogno di ~ 18 secondi per taggare, mentre tutti i tweet successivi necessitano di ~ 120 millisecondi per taggare. Cosa posso fare per accelerare il processo?

Posso fare una "richiesta di pre-riscaldamento" in modo che i dati del modulo siano già stati caricati per ogni richiesta?

class MyRequestHandler(BaseHandler): 
    def read(self, request): #this runs for a GET request 
     #...in a loop: 
      tokens = nltk.word_tokenize(tweet) 
      tagged = nltk.pos_tag(tokens) 

Answer 1

Questi primi 18 secondi sono il tagger POS che non viene caricato dal disco alla RAM. Se vuoi ovviare a questo, carica tu stesso il tagger al di fuori di una funzione di richiesta.

import nltk.data, nltk.tag 
tagger = nltk.data.load(nltk.tag._POS_TAGGER) 

e quindi sostituire nltk.pos_tag con tagger.tag. Il compromesso è che l'avvio dell'app richiederà ora 18 secondi. POS tagger

Answer 2

di NLTK è molto lento:

Per quanto mi riguarda posso fare 13739 tweets in 243 secondi:

1. sent_tokenize 1,06190705299
2. word_tokenize 4,86865639687
3. pos_tag 233,487122536
4. chunker 3,05982065201

Vedi http://honnibal.wordpress.com/2013/09/11/a-good-part-of-speechpos-tagger-in-about-200-lines-of-python/ , ma per riassumere:

Tagger  | Accuracy | Time (130k words) 
-----------+----------+------------------ 
CyGreedyAP | 97.1% | 4s 
NLTK  | 94.0% | 3m56s 
Pattern | 93.5% | 26s 
PyGreedyAP | 96.8% | 12s 

Answer 3

Come affermato in precedenza, NLTK deserializza ogni volta che è si utilizza il metodo pos_tag standard. Per NLTK 3.1, supponendo che sei felice con tagger predefinito del NLTK (PerceptronTagger) quindi il seguente metodo funziona per me:

primo carico il tagger:

from nltk.tag.perceptron import PerceptronTagger 
tagger = PerceptronTagger() 

Poi, ogni volta che è necessario contrassegnare un po 'di testo:

tagset = None 
tokens = nltk.word_tokenize('the mat sat on the cat') 
tags = nltk.tag._pos_tag(tokens, tagset, tagger) 

Questo in pratica ignora il metodo principale. Ho accelerato centinaia di volte per me. Presumo che lo stesso metodo funzioni per qualsiasi tagger.