Conversione da UTF-8 a ASCII Java con supplementi

Question

stiamo accettando tutti i tipi di caratteri nazionali nella stringa UTF-8 sull'input e abbiamo bisogno di convertirli in stringa ASCII sull'output per un uso legacy. (Non si accettano caratteri cinesi e giapponesi, solo le lingue europee)

Abbiamo una piccola utility per sbarazzarsi di tutti i segni diacritici:

public static final String toBaseCharacters(final String sText) { 
    if (sText == null || sText.length() == 0) 
     return sText; 

    final char[] chars = sText.toCharArray(); 
    final int iSize = chars.length; 
    final StringBuilder sb = new StringBuilder(iSize); 

    for (int i = 0; i < iSize; i++) { 
     String sLetter = new String(new char[] { chars[i] }); 
     sLetter = Normalizer.normalize(sLetter, Normalizer.Form.NFC); 

     try { 
      byte[] bLetter = sLetter.getBytes("UTF-8"); 
      sb.append((char) bLetter[0]); 
     } catch (UnsupportedEncodingException e) { 
     } 
    } 
    return sb.toString(); 
} 

La domanda è come sostituire tutti i s taglienti tedesco (ß, Đ, đ) e altri personaggi che superano il suddetto metodo di normalizzazione, con i loro supplementi (in caso di ß, il supplemento sarebbe probabilmente "ss" e nel caso in cui Đ supplemento sarebbe "D" o "Dj").

C'è un modo semplice per farlo, senza milioni di chiamate .replaceAll()?

Ad esempio: Đonardan = Djonardan, Blaß = Blass e così via.

Possiamo sostituire tutti i caratteri "problematici" con spazio vuoto, ma vorrei evitare questo per rendere l'output il più simile possibile all'input.

Grazie per le vostre risposte,

Bozo

Answer 1

C'è qualche modo semplice per farlo, senza milioni di .ReplaceAll() chiama?

Se si supportano solo lingue europee, in lingua latina, circa 100 dovrebbero essere sufficienti; questo è sicuramente fattibile: prendi lo Unicode charts per Latin-1 Supplement e Latin Extended-A e inizia la festa String.replace. :-)

Answer 2

Si desidera utilizzare ICU4J. Include la classe com.ibm.icu.text.Transliterator, che a quanto pare può fare ciò che stai cercando.

Answer 3

sto usando qualcosa di simile:

Transliterator transliterator = Transliterator.getInstance("Any-Latin; Upper; Lower; NFD; [:Nonspacing Mark:] Remove; NFC", Transliterator.FORWARD); 

Answer 4

Ecco il mio convertitore che usa Lucene ...

private final KeywordTokenizer keywordTokenizer = new KeywordTokenizer(new StringReader("")); 
private final ASCIIFoldingFilter asciiFoldingFilter = new ASCIIFoldingFilter(keywordTokenizer); 
private final TermAttribute termAttribute = (TermAttribute) asciiFoldingFilter.getAttribute(TermAttribute.class); 

public String process(String line) 
{ 
    if (line != null) 
    { 
     try 
     { 
      keywordTokenizer.reset(new StringReader(line)); 
      if (asciiFoldingFilter.incrementToken()) 
      { 
       return termAttribute.term(); 
      } 
     } 
     catch (IOException e) 
     { 
      logger.warn("Failed to parse: " + line, e); 
     } 
    } 
    return null; 
}