Rimuovere i documenti vuoti da DocumentTermMatrix in mododelle R?

Question

Sto facendo argomento modellazione utilizzando il pacchetto topicmodels in R. Io sono la creazione di un oggetto Corpus, fare un po 'di pre-elaborazione di base, e quindi la creazione di un DocumentTermMatrix:

corpus <- Corpus(VectorSource(vec), readerControl=list(language="en")) 
corpus <- tm_map(corpus, tolower) 
corpus <- tm_map(corpus, removePunctuation) 
corpus <- tm_map(corpus, removeWords, stopwords("english")) 
corpus <- tm_map(corpus, stripWhitespace) 
corpus <- tm_map(corpus, removeNumbers) 
...snip removing several custom lists of stopwords... 
corpus <- tm_map(corpus, stemDocument) 
dtm <- DocumentTermMatrix(corpus, control=list(minDocFreq=2, minWordLength=2)) 

E poi eseguire LDA:

LDA(dtm, 30) 

questa chiamata finale per LDA() restituisce l'errore

"Each row of the input matrix needs to contain at least one non-zero entry". 

presumo che ciò significa che c'è almeno un documento t cappello non ha termini in esso dopo la pre-elaborazione. C'è un modo semplice per rimuovere documenti che non contengono termini da DocumentTermMatrix?

Ho esaminato la documentazione per il pacchetto topicmodels e ho trovato la funzione removeSparseTerms, che rimuove i termini che non compaiono in nessun documento, ma non esiste un analogo per la rimozione dei documenti.

Answer 1

"Each row of the input matrix needs to contain at least one non-zero entry" 

L'errore indica che la matrice sparsa contiene una riga senza voci (parole). Un'idea è di calcolare la somma di parole per riga

rowTotals <- apply(dtm , 1, sum) #Find the sum of words in each Document 
dtm.new <- dtm[rowTotals> 0, ]   #remove all docs without words 

Answer 2

Questo è solo per elaborare la risposta data da agstudy.

Invece di rimuovere le righe vuote dalla matrice dtm, possiamo identificare i documenti nel nostro corpus che hanno lunghezza zero e rimuovere i documenti direttamente dal corpus, prima di eseguire un secondo dtm con solo documenti non vuoti.

Ciò è utile per mantenere una corrispondenza 1: 1 tra dtm e corpus.

empty.rows <- dtm[rowTotals == 0, ]$dimnames[1][[1]] corpus <- corpus[-as.numeric(empty.rows)]

Answer 3

Basta piccolo addendum alla risposta di Dario Lacan:

empty.rows <- dtm[rowTotals == 0, ]$dimnames[1][[1]] 

raccoglierà id, piuttosto che numeri d'ordine di record. Prova questo:

library(tm) 
data("crude") 
dtm <- DocumentTermMatrix(crude) 
dtm[1, ]$dimnames[1][[1]] # return "127", not "1" 

Se si preparano da sé corpus con numerazione progressiva, dopo che i dati pulizia alcuni documenti possono essere rimossi e la numerazione saranno rotti. Quindi, è meglio usare id direttamente:

corpus <- tm_filter(
    corpus, 
    FUN = function(doc) !is.element(meta(doc)$id, empty.rows)) 
    # !(meta(doc)$id %in% emptyRows) 
) 

Answer 4

rimuovere solo i termini sparse dal DTM e tutto funzionerà bene.

dtm <- DocumentTermMatrix(crude, sparse=TRUE) 

Answer 5

La risposta di agstudy funziona alla grande, ma utilizzarla su un computer lento si è dimostrata leggermente problematica.

tic() 
row_total = apply(dtm, 1, sum) 
dtm.new = dtm[row_total>0,] 
toc() 
4.859 sec elapsed 

(questo è stato fatto con un 4000x15000 DTM)

Il collo di bottiglia sembra essere applicando sum() ad una matrice sparsa.

Una matrice di termini documento creata dal pacchetto tm contiene i nomi i e j, che sono indici per cui le voci si trovano nella matrice sparsa. Se dtm$i non contiene un particolare indice di riga p, la riga p è vuota.

tic() 
ui = unique(dtm$i) 
dtm.new = dtm[ui,] 
toc() 
0.121 sec elapsed 

ui contiene tutti gli indici non-zero, e poiché dtm$i è già ordinato, dtm.new sarà nello stesso ordine come dtm. Il guadagno in termini di prestazioni potrebbe non avere importanza per le matrici dei termini dei documenti più piccole, ma potrebbe diventare significativo con le matrici più grandi.