Conflitto di divisione/RegExp durante la tokenizzazione Javascript

Question

Sto scrivendo un semplice tokenizer javascript che rileva i tipi di base: Word, Number, String, RegExp, Operator, Comment e Newline. Tutto sta andando bene, ma non riesco a capire come rilevare se il carattere corrente è delimitatore RegExp o operatore di divisione. Non sto usando le espressioni regolari perché sono troppo lente. Qualcuno conosce il meccanismo per rilevarlo? Grazie.

Answer 1

È possibile sapere quale è il token precedente nello stream. Passa attraverso ogni token che il tuo lexer emette e chiedi se può essere ragionevolmente seguito da un segno di divisione o da un'espressione regolare; scoprirai che i due set di token risultanti sono disgiunti. Ad esempio, (, [, {, ; e tutti gli operatori binari possono essere seguiti solo da un'espressione regolare. Allo stesso modo, ), ], }, identificatori e stringhe/numeri letterali possono essere seguiti solo da un segno di divisione.

Vedere la sezione 7 del ECMAScript spec per ulteriori dettagli.

Answer 2

è necessario controllare il contesto quando si incontra la barra. se la barra è dopo un'espressione, allora deve essere divisione, o è un inizio regexp.

per riconoscere il contesto, forse è necessario creare un parser di sintassi.

ad esempio

function f() {} 
/1/g 
//this case ,the slash is after a function definition, so it's a refexp start 


var a = {} 
/1/g; 
//this case, the slash is after an object expression，so it's a division