Riconoscimento del testo come semplificato rispetto al cinese tradizionale

Question

Dato un blocco di testo che è noto per essere cinese e codificato in UTF-8, c'è un modo per determinare se è semplificato o tradizionale?

Answer 1

Non so se funzionerà, ma proverei ad usare iconv per vedere se si tradurrà correttamente tra i set di caratteri, confrontando i risultati della stessa conversione con // TRANSLIT e // IGNORE. Se i due risultati corrispondono, la conversione del set di caratteri non ha incontrato caratteri che non riescono a tradurre, quindi dovresti avere una corrispondenza.

$test1 = iconv("UTF-8", "big5//TRANSLIT", $text); 
$test2 = iconv("UTF-8", "big5//IGNORE", $text); 
if ($test1 == $test2) { 
    echo 'traditional'; 
} else { 
    $test3 = iconv("UTF-8", "gb2312//TRANSLIT", $text); 
    $test4 = iconv("UTF-8", "gb2312//IGNORE", $text); 
    if ($test3 == $test4) { 
     echo 'simplified'; 
    } else { 
     echo 'Failed to match either traditional or simplified'; 
    } 
} 

Answer 2

Dal big5 e gb2312 omettere un bel paio di varianti di uso comune che sono presenti in Unicode, il codice si affidano a corrispondenza esatta tra le modalità translit e ignore fallirebbe in un bel po 'di normali casi di utilizzo: fallirebbe per identificare 説話 come cinese tradizionale nonostante 説 essere una variante comune a Hong Kong per 說 che viene utilizzato in big5.

una semplice correzione è di farlo in un modo sfocata:

$test1 = iconv("UTF-8", "big5//IGNORE", $text); 
$test2 = iconv("UTF-8", "gb2312//IGNORE", $text); 
$len1 = mb_strlen($test1); 
$len2 = mb_strlen($test2); 
$len0 = mb_strlen($text) * 0.8; // threshold 
if ($len1 > $len2 && $len1 > $len0) { 
    return 'Likely Traditional'; 
} 
if ($len2 > $len1 && $len2 > $len0) { 
    return 'Likely Simplified'; 
} 
return 'Could not identify';