Algoritmo per confrontare la somiglianza delle idee (come stringhe)

Question

Considera una casella di testo arbitraria che registra la risposta alla domanda, che cosa vuoi fare prima di morire?

Utilizzando una raccolta di stringhe di risposta (lunghezza massima 240), mi piacerebbe in qualche modo ordinarle e raggrupparle e contarle per idea (che potrebbe essere solo la somiglianza delle stringhe come descritto in this question).

1. C'è un altro o un modo migliore per fare qualcosa del genere?
2. È diverso lo della somiglianza di stringa?
3. Questa è la domanda giusta da porre?

L'idea è quella di avere persone scrivono in una casella di testo più e più volte, e mi di fornire un numero che descrive, in generale, che 802 persone ha scritto circa la stessa cosa

Answer 1

E ' è molto più difficile della somiglianza tra stringhe. Questo è ciò che devi fare come minimo:

• eseguire alcune operazioni di formattazione/pulizia di testo come la rimozione di punteggiatura caratteri e comuni "stop words"
• Costruire un corpus (raccolta di parole con le loro statistiche di utilizzo) da i termini che si verificano risposte.
• Calcolare un peso per ogni termine.
• Costruire un vettore di documento da ogni risposta (ogni termine corrisponde a una dimensione in uno spazio euclideo di altissima dimensione)
• Eseguire un algoritmo di clustering su vettori di documenti.

Leggere un buon libro elaborazione del linguaggio naturale statistica, o di ricerca di Google per le buone introduzioni/tutorial (termini probabili: NLP statistico, testo categorizzazione, il clustering) Probabilmente si può trovare alcune librerie (weka o nltk viene in mente) a seconda della lingua scelta, ma è comunque necessario comprendere i concetti per utilizzare la libreria.

Answer 2

Il Latent Semantic Analysis (LSA) potrebbe interessarti. Ecco a nice introduction.

analisi semantica latente (LSA) è una tecnica di elaborazione del linguaggio naturale, in particolare nella semantica vettoriali, di analizzare le relazioni tra una serie di documenti ed i termini in essi contenuti con la produzione di una serie di concetti relativi ai documenti e termini. [...]

Answer 3

Quello che vuoi è un problema molto aperto in PNL. @ La risposta di Ali descrive l'idea ad alto livello, ma la parte "Costruisci un vettore di documento per ogni risposta" è davvero difficile. Ci sono alcuni modi ovvi per costruire un vettore di documento da un vettore delle parole che contiene. L'aggiunta, la moltiplicazione e la media sono veloci, ma ignorano in modo affettivo la sintassi. Man bites dog e Dog bites man avranno la stessa rappresentazione, ma chiaramente non hanno lo stesso significato.Google compositional distributional semantics - per quanto ne so, ci sono persone nelle università del Texas, Trento, Oxford, Sussex e Google che lavorano nell'area.