Perché iconv può convertire la forma precomposta ma non la forma scomposta di "É" (da UTF-8 a CP1252)

Question

Uso la libreria iconv per interfacciare da una moderna sorgente di input che utilizza UTF-8 in un sistema legacy che utilizza Latin1, alias CP1252 (superset di ISO-8859-1).

L'interfaccia non è riuscita a convertire la stringa francese "Éducation", dove "É" è stato codificato come esadecimale 45 CC 81. Si noti che la codifica della destinazione ha un carattere "É", codificato come C9.

Perché iconv non è in grado di convertire "É"? Ho verificato che lo strumento da riga di comando iconv disponibile con MacOS X 10.7.3 indica che non può essere convertito e che anche il modulo iconv PERL non funziona.

Questo è ancora più sconcertante che la forma precomposta del carattere "É" (codificata come C3 89) converta perfettamente.

Si tratta di un bug con iconv o mi sono perso qualcosa?

Nota che ho anche lo stesso problema se provo a convertire da UTF-16 (dove "É" è codificato come 00 C9 composto o 00 45 03 01 decomposto).

Answer 1

Purtroppo iconv infatti non tratta con i personaggi decomposti in UTF-8, ad eccezione della versione installata su Mac OS X.

Quando si tratta di nomi di file Mac, è possibile utilizzare iconv con il "utf8- mac "opzione set di caratteri. Prende anche in considerazione alcuni idiosyncrasies of the Mac decomposed form.

Tuttavia, le versioni non-mac di iconv o libiconv non supportano questo e non sono riuscito a trovare le origini utilizzate su Mac che forniscono questo supporto.

Sono d'accordo con te che iconv dovrebbe essere in grado di gestire sia le forme NFD sia quelle NFD di UTF8, ma fino a quando qualcuno rattoppa le fonti dobbiamo rilevarlo manualmente e affrontarlo prima di passare a iconv.

Di fronte a questo fastidioso problema, ho usato il modulo Unicode :: Normalize di Perl come suggerito da Jukka.

#!/usr/bin/perl 

use Encode qw/decode_utf8 encode_utf8/; 
use Unicode::Normalize; 

while (<>) { 
    print encode_utf8(NFC(decode_utf8 $_)); 
} 

Answer 2

Utilizzare un normalizer (in questo caso, per modulo di normalizzazione C) prima di chiamare iconv.

Un programma che si occupa di codifiche di caratteri (diverse rappresentazioni di caratteri o, più esattamente, punti di codice, come sequenze di byte) e di conversione tra di esse dovrebbe trattare le forme precomposte e composte come distinte. La É decomposta è due punti di codice e in quanto tale distinta dalla É precomposta, che è un punto di codice.