Annotazione di un corpus (Syntaxnet)

Question

Ho scaricato e installato SyntaxNet dopo Syntax official documentation on Github. seguendo la documentazione (annotando il corpus) ho provato a leggere un file .conll chiamato wj.conll da SyntaxNet e scrivere i risultati in wj-tagged.conll ma non ho potuto. Le mie domande sono:

1. fa SyntaxNet legge sempre .conll file? (non i file .txt?). Mi sono un po 'confuso perché sapevo che SyntaxNet legge il file .conll per la formazione e il test, ma sono un po' sospettoso che sia necessario convertire un file .txt nel file .conll per avere la loro parte di analisi Spaces e Dependancy.

2. Come posso fare SyntaxNet legge da file (mi stanco tutti i modi possibili spiego in GitHub documentazione su SyntaxNet e non ha funzionato per me)

Answer 1

Aggiungere queste righe di dichiarazione a "context.pbtxt "alla fine del file. Qui "inp" e "out" sono i file di testo presenti nella directory root di syntexnet.

input { 
    name: 'inp_file' 
    record_format: 'english-text' 
    Part { 
    file_pattern: 'inp' 
    } 
    } 
    input { 
    name: 'out_file' 
    record_format: 'english-text' 
    Part { 
    file_pattern: 'out' 
    } 
    } 

Aggiungere frasi al file "inp" per cui si desidera codifica da fare e specificarli in guscio la prossima volta che si esegue utilizzando syntaxnet --input e tag --output.

Solo per aiutarti un po 'di più sto incollando un comando di shell di esempio.

bazel-bin/syntaxnet/parser_eval \ 
--input inp_file \ 
--output stdout-conll \ 
--model syntaxnet/models/parsey_mcparseface/tagger-params \ 
--task_context syntaxnet/models/parsey_mcparseface/context.pbtxt \ 
--hidden_layer_sizes 64 \ 
--arg_prefix brain_tagger \ 
--graph_builder structured \ 
--slim_model \ 
--batch_size 1024 | bazel-bin/syntaxnet/parser_eval \ 
--input stdout-conll \ 
--output out_file \ 
--hidden_layer_sizes 512,512 \ 
--arg_prefix brain_parser \ 
--graph_builder structured \ 
--task_context syntaxnet/models/parsey_mcparseface/context.pbtxt \ 
--model_path syntaxnet/models/parsey_mcparseface/parser-params \ 
--slim_model --batch_size 1024 

Nello script precedente l'uscita (POS tagging) del primo comando shell è usato come ingresso per il secondo comando shell, dove i due comandi shell sono separati da "|"

Answer 2

solo un rapido aiuto, se si desidera salvare l'output di demo in un file txt:

provare echo "open file X with application Y" | ./demo.sh > output.txt ti dà condannerete albero nella directory corrente.