Doc2vec: come ottenere i vettori di documenti

Question

Come ottenere i vettori di documenti di due documenti di testo utilizzando Doc2vec? Sono nuovo, quindi sarebbe utile se qualcuno mi indicasse nella giusta direzione/aiutami con qualche tutorial

Sto usando la libreria gensim python.

doc1=["This is a sentence","This is another sentence"] 
documents1=[doc.strip().split(" ") for doc in doc1 ] 
model = doc2vec.Doc2Vec(documents1, size = 100, window = 300, min_count = 10, workers=4) 

ottengo AttributeError: 'list' oggetto non ha attributo 'parole' ogni volta che ho eseguito questo

Answer 1

doc=["This is a sentence","This is another sentence"] 
documents=[doc.strip().split(" ") for doc in doc1 ] 
model = doc2vec.Doc2Vec(documents, size = 100, window = 300, min_count = 10, workers=4) 

Ho avuto AttributeError: 'list' oggetto non ha attributo 'parole', perché il i documenti di input per Doc2vec() non erano nel formato LabeledSentence corretto. Spero che questo esempio sottostante ti aiuti a capire il formato.

documents = LabeledSentence(words=[u'some', u'words', u'here'], labels=[u'SENT_1']) 

Maggiori dettagli sono qui: http://rare-technologies.com/doc2vec-tutorial/ Tuttavia, ho risolto il problema prendendo i dati di input da file usando TaggedLineDocument().
Formato file: un documento = una riga = un oggetto TaggedDocument. Le parole devono essere già preelaborate e separate da spazi bianchi, i tag vengono creati automaticamente dal numero di riga del documento.

sentences=doc2vec.TaggedLineDocument(file_path) 
model = doc2vec.Doc2Vec(sentences,size = 100, window = 300, min_count = 10, workers=4) 

Per ottenere il documento di vettore: È possibile utilizzare docvecs. Maggiori dettagli qui: https://radimrehurek.com/gensim/models/doc2vec.html#gensim.models.doc2vec.TaggedDocument

docvec = model.docvecs[99] 

dove 99 è l'ID del documento di cui vogliamo vettoriale. Se le etichette sono in formato intero (per impostazione predefinita, se carichi utilizzando TaggedLineDocument()), utilizza direttamente l'ID intero come ho fatto io. Se le etichette sono in formato stringa, utilizzare "SENT_99". È simile a Word2vec

Answer 2

Gensim è stato aggiornato. La sintassi di LabeledSentence non contiene le etichette . Ora ci sono tag - vedi la documentazione per LabeledSentence https://radimrehurek.com/gensim/models/doc2vec.html

Tuttavia, @ bee2502 aveva ragione con

docvec = model.docvecs[99] 

Sarà dovrebbe il valore del vettore di 100 ° per il modello addestrato, funziona con i numeri interi e stringhe.

Answer 3

Se si desidera addestrare il modello Doc2Vec, il set di dati deve contenere elenchi di parole (simili al formato Word2Vec) e tag (id dei documenti). Può anche contenere alcune informazioni aggiuntive (vedere https://github.com/RaRe-Technologies/gensim/blob/develop/docs/notebooks/doc2vec-IMDB.ipynb per ulteriori informazioni).

# Import libraries 

from gensim.models import doc2vec 
from collections import namedtuple 

# Load data 

doc1 = ["This is a sentence", "This is another sentence"] 

# Transform data (you can add more data preprocessing steps) 

docs = [] 
analyzedDocument = namedtuple('AnalyzedDocument', 'words tags') 
for i, text in enumerate(doc1): 
    words = text.lower().split() 
    tags = [i] 
    docs.append(analyzedDocument(words, tags)) 

# Train model (set min_count = 1, if you want the model to work with the provided example data set) 

model = doc2vec.Doc2Vec(docs, size = 100, window = 300, min_count = 1, workers = 4) 

# Get the vectors 

model.docvecs[0] 
model.docvecs[1] 

UPDATE (come addestrare in epoche): funzione Doc2Vec contiene alpha e min_alpha parametri, ma che significa che il tasso di apprendimento decade durante un'epoca alpha-min_alpha. Per addestrare diverse epoche, impostare la velocità di apprendimento manualmente, in questo modo:

from gensim.models import doc2vec 
import random 

alpha_val = 0.025  # Initial learning rate 
min_alpha_val = 1e-4  # Minimum for linear learning rate decay 
passes = 15    # Number of passes of one document during training 

alpha_delta = (alpha_val - min_alpha_val)/(passes - 1) 

model = doc2vec.Doc2Vec(size = 100 # Model initialization 
    , window = 300 
    , min_count = 1 
    , workers = 4) 

model.build_vocab(docs) # Building vocabulary 

for epoch in range(passes): 

    # Shuffling gets better results 

    random.shuffle(docs) 

    # Train 

    model.alpha, model.min_alpha = alpha_val, alpha_val 

    model.train(docs) 

    # Logs 

    print('Completed pass %i at alpha %f' % (epoch + 1, alpha_val)) 

    # Next run alpha 

    alpha_val -= alpha_delta