Libreria C per convertire i punti codice unicode in UTF8?

Question

Devo passare un po 'di testo e scrivere l'output UTF8 in base ai pattern di caratteri. Ho pensato che sarebbe stato facile poter lavorare con i punti di codice e convertirlo in UTF8. Ho letto di unicode e UTF8 ma non sono riuscito a trovare una buona soluzione. Qualsiasi aiuto sarà apprezzato.

Answer 1

Conversione punti di codice Unicode UTF-8 è così banale che effettua la chiamata a una libreria probabilmente richiede più di un semplice codice di farlo da soli:

if (c<0x80) *b++=c; 
else if (c<0x800) *b++=192+c/64, *b++=128+c%64; 
else if (c-0xd800u<0x800) goto error; 
else if (c<0x10000) *b++=224+c/4096, *b++=128+c/64%64, *b++=128+c%64; 
else if (c<0x110000) *b++=240+c/262144, *b++=128+c/4096%64, *b++=128+c/64%64, *b++=128+c%64; 
else goto error; 

Inoltre, farlo da soli significa che è possibile sintonizzare l'API per il tipo di w hai bisogno di (carattere alla volta? O stringhe lunghe?) È possibile rimuovere i casi di errore se si sa che il proprio input è un valore scalare Unicode valido.

L'altra direzione è un po 'più difficile da correggere. Raccomando un approccio di automa finito piuttosto che i tipici loop di aritmetica dei bit che a volte decodificano sequenze non valide come alias per i personaggi reali (che è molto pericoloso e può portare a problemi di sicurezza).

Modifica: Anche se si finisce con una libreria, penso che si dovrebbe provare a scriverlo prima o almeno a studiare seriamente le specifiche UTF-8 prima di andare oltre. Un pessimo design può derivare dal considerare UTF-8 come una scatola nera quando il punto è che non è una scatola nera ma è stato creato per avere proprietà molto potenti, e troppi programmatori nuovi a UTF-8 non riescono a vederlo fino a quando hanno lavorato molto con loro stessi.

Answer 2

Quale piattaforma? Su Windows, è possibile utilizzare WideCharToMultiByte (CP_UTF8, ...)

Probabilmente, il codice sorgente deve essere codificato in UTF-16, il che significa che si deve essere in grado di eseguire tale codifica. In alcuni casi (coppie surrogate), non è banale.

La mia comprensione è che si dispone di un testo in una determinata tabella codici e si desidera convertirlo in Unicode (UTF-16). Destra? Un roundtrip MultiByteToWideChar (codePage, sourceText, ...)/WideCharToMultiByte (CP_UTF8, utf16Text, ...) farà il trucco.

Answer 3

libiconv.

Answer 4

iconv potrebbe essere utilizzato I figure.

#include <iconv.h> 

iconv_t cd; 
char out[7]; 
wchar_t in = CODE_POINT_VALUE; 
size_t inlen = sizeof(in), outlen = sizeof(out); 

cd = iconv_open("utf-8", "wchar_t"); 
iconv(cd, (char **)&in, &inl, &out, &outlen); 
iconv_close(cd); 

ma temo che wchar_t potrebbero non rappresentare i punti di codice Unicode, ma valori arbitrari .. EDIT: Credo che si può farlo semplicemente utilizzando una fonte Unicode:

uint16_t in = UNICODE_POINT_VALUE; 
cd = iconv_open("utf-8", "ucs-2");