Sto cercando di eseguire un'analisi delle frasi (principalmente per le app di Twitter) e di inferire alcune caratteristiche generali. Esistono buone librerie di elaborazione del linguaggio naturale per questo genere di cose in Ruby?Elaborazione del linguaggio naturale in Ruby
Simile a Is there a good natural language processing library ma per Ruby. Preferirei qualcosa di molto generale, ma ogni vantaggio è apprezzato!
Ci sono alcune cose a Ruby Linguistics e alcuni collegamenti da esso, anche se non sembra da nessuna parte vicino a ciò che NLTK è per Python, ancora.
È necessario essere molto più specifici su quali siano queste "caratteristiche generali".
In PNL "caratteristiche generali" di una frase può significare un milione di cose diverse - analisi del sentimento (cioè l'atteggiamento del relatore), parte fondamentale del tagging del discorso, uso del pronome personale, la frase contiene attivo o passivo verbi, qual è il tempo e la voce dei verbi ...
Non mi dispiace se sei vago nel descriverlo, ma se non sappiamo cosa stai chiedendo è altamente improbabile che possiamo essere specifici nell'aiutarti
Il mio suggerimento generale, in particolare per la PNL, è quello di ottenere lo strumento più adatto per il lavoro anziché limitarsi a una lingua specifica. Limitare te stesso a una lingua specifica va bene per alcune attività in cui gli strumenti generali sono implementati ovunque, ma la PNL non è una di quelle.
L'altro problema in cui si lavora con Twitter è una grande quantità di frasi che saranno cotte a metà o compresse in modi strani e meravigliosi - a cui la maggior parte degli strumenti di PNL non sono addestrati. Per aiutarvi, lo consiste di "circa 10.000 messaggi SMS raccolti dagli studenti". A causa delle restrizioni e dell'utilizzo simili, l'analisi potrebbe essere utile per le tue esplorazioni con Twitter.
Se sei più specifico proverò ad elencare alcuni strumenti che ti aiuteranno.
È sempre possibile utilizzare jruby e utilizzare le librerie java.
MODIFICA: la possibilità di fare ruby in modo nativo sulla jvm e di sfruttare facilmente le librerie java è un grande vantaggio per i rubyists. Questa è una buona opzione che dovrebbe essere considerata in una situazione come questa.
Non dovresti solo dire che dovresti usare le librerie java, ma quali librerie java. Possono anche non esistere, per quanto un lettore possa sapere. –
http://stackoverflow.com/questions/895893/which-nlp-toolkit-to-use-in-java – jshen
Vorrei controllare il libro gratuito di Mark Watson Practical Semantic Web and Linked Data Applications, Java, Scala, Clojure, and JRuby Edition. Ha capitoli su PNL usando java, clojure, ruby e scala. Fornisce inoltre collegamenti alle risorse necessarie.
TREAT - il recupero di testo e annotazioni Toolkit - è il kit di strumenti più completo che io conosca per Ruby: https://github.com/louismullie/treat/wiki/
Tre eccellenti e mature pacchetti di PNL sono Stanford Core NLP, Open NLP e LingPipe. Esistono collegamenti Ruby agli strumenti Stanford Core NLP (licenza GPL) e agli strumenti OpenNLP (licenza Apache).
Sul lato più sperimentale, mantengo un Text Retrieval, Extraction and Annotation Toolkit (Treat), rilasciato sotto GPL, che fornisce un'API comune per quasi ogni gemma correlata a NLP esistente per Ruby. Il seguente elenco di caratteristiche di Treat può anche fungere da buon riferimento in termini di gemme di elaborazione del linguaggio naturale stabili compatibili con Ruby 1.9.
punkt-segmenter, tactful_tokenizer, srx-english, scalpel)stanford-core-nlp).linguistics), derivanti (ruby-stemmer, uea-stemmer, lingua, etc.)rwordnet), tagger POS (rbtagger, engtagger, etc.)whatlanguage), la data/ora (chronic, kronic, nickel), parola chiave (lda-ruby) estrazione.ferret).stanford-core-nlp).decisiontree), MLP (ruby-fann), SVM (rb-libsvm) e classificazione lineare (tomz-liblinear-ruby-swig).levenshtein-ffi, fuzzy-string-match, tf-idf-similarity).Non incluso nel Treat, ma rilevanti per NLP: hotwater (algoritmi distanza stringa), yomu (leganti a Apache Tiki per la lettura .doc, .docx, .pages, .odt, .rtf, .pdf), graph-rank (un'implementazione di GraphRank).
provare questo
https://github.com/louismullie/stanford-core-nlp
su Stanford-core-PNL gioiello
Questo gioiello offre di alto livello attacchi di Ruby al pacchetto Stanford Nucleo NLP, un set di strumenti di elaborazione del linguaggio naturale per la tokenizzazione , segmentazione della frase, tag di parte del discorso, lemmatizzazione e parsing di inglese, francese e tedesco. Il pacchetto fornisce anche il riconoscimento dell'entità con nome e la risoluzione della coreferenza per l'inglese.
http://nlp.stanford.edu/software/corenlp.shtml pagina dimostrativa http://nlp.stanford.edu:8080/corenlp/
Considera anche utilizzando le API SaaS come MonkeyLearn. Puoi facilmente formattare i classificatori di testo con l'apprendimento automatico e integrarli tramite un'API. C'è uno Ruby SDK disponibile.
Oltre a creare classificatori personalizzati, è possibile selezionare i moduli pre-creati per l'analisi dei sentimenti, la classificazione degli argomenti, il rilevamento della lingua e altro. Abbiamo anche estrattori come l'estrazione di parole chiave e le entità e continueremo ad aggiungere altri moduli pubblici.
Altre caratteristiche curato:
Per le persone che cercano qualcosa di più leggero e semplice da implementare questa opzione ha funzionato bene per me.
ho mantenere un elenco di Ruby Natural Language Processing resources (biblioteche, API, e presentazioni) su GitHub che copre le librerie elencate nelle altre risposte qui come pure alcune librerie aggiuntive.
Perché non provare wit.ai? È un servizio esterno gratuito. Ho scritto una gemma che racchiude le loro funzionalità: [wit_bot] (// bensites.com/wit_bot) –