Can Bison analizza i caratteri UTF-8?

Question

Sto provando a creare un parser Bison per gestire i caratteri UTF-8. Non voglio che il parser interpreti effettivamente i valori dei caratteri Unicode, ma voglio che analizzi la stringa UTF-8 come una sequenza di byte.

momento Bison genera il seguente codice che è problematico:

if (yychar <= YYEOF) 
    { 
     yychar = yytoken = YYEOF; 
     YYDPRINTF ((stderr, "Now at end of input.\n")); 
    } 

Il problema è che molti byte della stringa UTF-8 avrà un valore negativo, e Bison interpreta valori negativi come EOF, e si ferma

C'è un modo per aggirare questo?

Answer 1

bison sì, flex no. L'unica volta che avevo bisogno di un parser di bisonti per lavorare con i file codificati in UTF-8 ho finito per scrivere la mia funzione yylex.

modificare: Per aiutare, ho usato un sacco di operazioni Unicode disponibili in glib (c'è un tipo gunicode e alcune funzioni di manipolazione di file/stringa che ho trovato utile).

Answer 2

flex Essendo il problema qui, si potrebbe voler dare un'occhiata a zlex.

Answer 3

Questa è una domanda di 4 anni fa, ma sto affrontando gli stessi problemi e mi piacerebbe condividere le mie idee.

Il problema è che in UTF-8 non si sa quanti byte leggere. Come suggerito sopra, puoi usare il tuo lexer personale, o leggere righe intere o leggere 4 byte ogni volta. Quindi estrarre il carattere UTF-8 da quello e leggere più byte per completare nuovamente a 4 byte.