tokenizer stanford nlp

Question

Come posso eseguire il tokenize di una stringa nella classe java utilizzando parser stanford?

Sono solo in grado di trovare esempi di documentProcessor e PTBTokenizer che prelevano il testo da un file esterno.

DocumentPreprocessor dp = new DocumentPreprocessor("hello.txt"); 
    for (List sentence : dp) { 
    System.out.println(sentence); 
    } 
    // option #2: By token 

    PTBTokenizer ptbt = new PTBTokenizer(new FileReader("hello.txt"), 
      new CoreLabelTokenFactory(), ""); 
    for (CoreLabel label; ptbt.hasNext();) { 
    label = (CoreLabel) ptbt.next(); 
    System.out.println(label); 
    } 

Grazie.

Answer 1

PTBTokenizer costruttore accetta un java.io.Reader, quindi è possibile utilizzare uno StringReader per analizzare il testo