stringa di Split in frasi

Question

Ho scritto questo pezzo di codice che divide una stringa e lo memorizza in un array di stringhe: -

String[] sSentence = sResult.split("[a-z]\\.\\s+"); 

Tuttavia, ho aggiunto il [az] perché volevo affrontare alcuni dei problemi di abbreviazione. Ma poi il mio risultato mostra come così: -

Inoltre quando Everett ha cercato di istruirli nella matematica di base hanno dimostrato unresponsiv

vedo che perdo il criterio specificato nella funzione split. Va bene per me perdere il periodo, ma perdere l'ultima lettera della parola disturba il suo significato.

Qualcuno potrebbe aiutarmi con questo, e inoltre, qualcuno potrebbe aiutarmi a trattare con le abbreviazioni? Ad esempio, poiché divido la stringa in base ai periodi, non voglio perdere le abbreviazioni.

Answer 1

Le frasi di analisi sono lungi dall'essere un compito banale, anche per le lingue latine come l'inglese. Un approccio ingenuo come quello che esponi nella tua domanda fallirà abbastanza spesso da renderlo inutilizzabile nella pratica.

Un approccio migliore consiste nell'utilizzare un BreakIterator configurato con le impostazioni internazionali corrette.

BreakIterator iterator = BreakIterator.getSentenceInstance(Locale.US); 
String source = "This is a test. This is a T.L.A. test. Now with a Dr. in it."; 
iterator.setText(source); 
int start = iterator.first(); 
for (int end = iterator.next(); 
    end != BreakIterator.DONE; 
    start = end, end = iterator.next()) { 
    System.out.println(source.substring(start,end)); 
} 

produce il seguente risultato:

1. Questo è un test.
2. Questo è un T.L.A. test.
3. Ora con un Dott. In esso.

Answer 2

Sarà difficile ottenere un'espressione regolare per lavorare in tutti i casi, ma per risolvere il problema immediato è possibile utilizzare una lookbehind:

String sResult = "This is a test. This is a T.L.A. test."; 
String[] sSentence = sResult.split("(?<=[a-z])\\.\\s+"); 

Risultato:

This is a test 
This is a T.L.A. test. 

noti che ci sono abbreviazioni che non finiscono con lettere maiuscole, come abbrev., Mr., ecc ... E ci sono anche frasi che non finiscono in periodi!

Answer 3

Se possibile, utilizzare uno strumento di elaborazione del linguaggio naturale, ad esempio LingPipe. Ci sono molte sottigliezze che sarà molto difficile da catturare utilizzando le espressioni regolari, per esempio, (per esempio :-)), signor, abbreviazioni, puntini di sospensione (...), eccetera.

Esiste un tutorial molto semplice da seguire su Sentence Detection nel sito Web di LingPipe.