std :: string e Unicode codificato UTF-8

Question

Se ho capito bene, è possibile utilizzare sia stringa che stringa per memorizzare testo UTF-8.

• Con char, caratteri ASCII prendono un singolo byte, alcuni caratteri cinesi prendono 3 o 4, ecc Il che significa che str[3] non necessariamente puntare al 4 ° carattere.

• Con wchar_t stessa cosa, ma la quantità minima di byte utilizzati per personaggi è sempre 2 (invece di 1 per char), e un carattere largo 3 o 4 byte avrà 2 wchar_t.

Giusto?

Quindi, cosa succede se voglio utilizzare string::find_first_of() o string::compare(), ecc con una stringa così stranamente codificata? Funzionerà ? La classe string gestisce il fatto che i caratteri hanno una dimensione variabile? O dovrei usarli solo come semplici array di byte senza funzionalità, nel qual caso preferirei utilizzare un buffer wchar_t[].

Se std::string non gestisce che, seconda domanda: esistono librerie forniscono classi stringa che possa gestire che codifica UTF-8 in modo che str[3] effettivamente punti al 3 ° carattere (che sarebbe un array di byte da lunghezza da 1 a 4)?

Answer 1

Stai parlando di Unicode. Unicode utilizza 32 bit per rappresentare un carattere. Tuttavia dal momento che sta sprecando memoria ci sono codifiche più compatte. UTF-8 è una di queste codifiche. Presuppone che si stiano utilizzando unità di byte e mappa i caratteri Unicode a 1, 2, 3 o 4 byte. UTF-16 è un altro che utilizza le parole come unità e mappa i caratteri Unicode in 1 o 2 parole (2 o 4 byte). È possibile utilizzare entrambe le codifiche sia con stringa che con wchar_t. UTF-8 tende ad essere più compatto per testo/numeri in inglese.

Alcune cose funzioneranno indipendentemente dalla codifica e dal tipo utilizzato (confronta). Tuttavia tutte le funzioni che necessitano di capire un personaggio verranno interrotte. Il quinto carattere non è sempre la quinta voce nell'array sottostante. Potrebbe sembrare che funzioni con determinati esempi ma alla fine si romperà. string :: compare funzionerà ma non aspettarti di ottenere l'ordine alfabetico. Questo dipende dalla lingua. string :: find_first_of funzionerà per alcuni ma non per tutti. La stringa lunga probabilmente funzionerà solo perché è lunga, mentre quelli più brevi potrebbero essere confusi dall'allineamento dei caratteri e generare errori molto difficili da trovare.

La cosa migliore è trovare una libreria che la gestisca per te e ignorare il tipo sottostante (a meno che tu non abbia dei validi motivi per sceglierne uno o l'altro).

Answer 2

Lei ha ragione per quelli:
... Il che significa che str [3] non necessariamente puntare al 4 ° carattere ... usarli solo come manichino di funzionalità meno array di byte ...

una stringa di C++ può gestire solo caratteri ascii. Questo è diverso dalla stringa di Java, che può gestire i caratteri Unicode. È possibile memorizzare il risultato della codifica (byte) di caratteri cinesi in stringa (char in C/C++ è solo byte), ma ciò non ha senso poiché stringa tratta i byte come caratteri ascii, quindi non è possibile utilizzare la funzione stringa per elaborarla.
wstring può essere qualcosa che ti serve.

C'è qualcosa che dovrebbe essere chiarito. UTF-8 è solo un metodo di codifica per i caratteri Unicode (trasformando i caratteri da/a formato byte).

Answer 3

Non è possibile gestire Unicode con std :: string o altri strumenti dalla libreria standard. Utilizzare la libreria esterna come: http://utfcpp.sourceforge.net/