Estrarre nazionalità e paesi dal testo

Question

Voglio estrarre tutte le citazioni di nazionalità e nazionalità dal testo utilizzando nltk, ho usato il tagging POS per estrarre tutti i token etichettati GPE ma i risultati non erano soddisfacenti.

abstract="Thyroid-associated orbitopathy (TO) is an autoimmune-mediated orbital inflammation that can lead to disfigurement and blindness. Multiple genetic loci have been associated with Graves' disease, but the genetic basis for TO is largely unknown. This study aimed to identify loci associated with TO in individuals with Graves' disease, using a genome-wide association scan (GWAS) for the first time to our knowledge in TO.Genome-wide association scan was performed on pooled DNA from an Australian Caucasian discovery cohort of 265 participants with Graves' disease and TO (cases) and 147 patients with Graves' disease without TO (controls). " 

    sent = nltk.tokenize.wordpunct_tokenize(abstract) 
    pos_tag = nltk.pos_tag(sent) 
    nes = nltk.ne_chunk(pos_tag) 
    places = [] 
    for ne in nes: 
     if type(ne) is nltk.tree.Tree: 
     if (ne.label() == 'GPE'): 
      places.append(u' '.join([i[0] for i in ne.leaves()])) 
     if len(places) == 0: 
      places.append("N/A") 

I risultati ottenuti sono:

['Thyroid', 'Australian', 'Caucasian', 'Graves'] 

Alcuni sono le nazionalità, ma altri sono solo nomi.

Quindi cosa sto facendo male o c'è un altro modo per estrarre tali informazioni?

Answer 1

Se si desidera estrarre i nomi dei paesi, ciò di cui si ha bisogno è il tagger NER, non il tagger POS.

Il riconoscimento di entità con nome (NER) è una sottoattività dell'estrazione di informazioni che cerca di individuare e classificare elementi nel testo in categorie predefinite quali nomi di persone, organizzazioni, ubicazioni, espressioni di tempi, quantità, valori monetari , percentuali, ecc.

Dai un'occhiata al tagger Stanford NER!

from nltk.tag.stanford import NERTagger 
import os 
st = NERTagger('../ner-model.ser.gz','../stanford-ner.jar') 
tagging = st.tag(text.split()) 

Answer 2

Ecco geograpy che utilizza NLTK per eseguire estrazione di entità. Memorizza tutti i luoghi e le posizioni come un dizionario geografico. Quindi esegue una ricerca sul dizionario geografico per recuperare luoghi e luoghi pertinenti. Cercare la documentazione per ulteriori dettagli di utilizzo -

from geograpy import extraction 

e = extraction.Extractor(text="Thyroid-associated orbitopathy (TO) is an autoimmune- 
mediated orbital inflammation that can lead to disfigurement and blindness. 
Multiple genetic loci have been associated with Graves' disease, but the genetic 
basis for TO is largely unknown. This study aimed to identify loci associated with 
TO in individuals with Graves' disease, using a genome-wide association scan 
(GWAS) for the first time to our knowledge in TO.Genome-wide association scan was 
performed on pooled DNA from an Australian Caucasian discovery cohort of 265 
participants with Graves' disease and TO (cases) and 147 patients with Graves' 
disease without TO (controls).") 

e.find_entities() 
print e.places() 

Answer 3

Così, dopo i commenti fruttuosi, ho fatta una buca più in profondità diversi strumenti NER per trovare la migliore nella nazionalità riconoscimento e del paese menzioni e ha scoperto che SPACY ha un'entità NORP che estrae le nazionalità in modo efficiente. https://spacy.io/docs/usage/entity-recognition