La "definizione di token impliciti nella regola parser" è qualcosa di cui preoccuparsi?

Question

Sto creando la mia prima grammatica con ANTLR e ANTLRWorks 2. Ho finito per lo più la grammatica stessa (riconosce il codice scritto nella lingua descritta e costruisce alberi di analisi corretti), ma non ho iniziato niente oltre.

Ciò che mi preoccupa è che ogni prima occorrenza di un token in una regola parser è sottolineata con un "ghirigoro giallo" che recita "Definizione di token impliciti nella regola del parser".

Ad esempio, in questa regola, il 'var' ha quel ghirigoro:

variableDeclaration: 'var' IDENTIFIER ('=' expression)?; 

come appare esattamente:

La cosa strana è che ANTLR per sé non sembra attenzione a queste regole (quando si fa il test di rig test, non riesco a vedere nessuno di questi avvertimenti nell'output del parser generator, solo qualcosa sulla versione errata di Java installata sulla mia macchina), quindi è solo ANTLRWorks a lamentarsi.

È qualcosa di cui preoccuparsi o devo ignorare questi avvisi? Devo dichiarare tutti i token esplicitamente nelle regole lexer? La maggior parte delle espulsioni nella bibbia ufficiale The Defintive ANTLR Reference sembrano essere fatte esattamente come scrivo il codice.

Answer 1

Consiglio vivamente di correggere tutte le istanze di questo avviso nel codice di qualsiasi importanza.

Questo avviso è stato creato (da me in realtà) per avvisare l'utente di situazioni come la seguente:

shiftExpr : ID (('<<' | '>>') ID)?; 

Dal ANTLR 4 incoraggia codice di azione essere scritto in file separati nella lingua di destinazione, invece di incorporare direttamente nella grammatica, è importante essere in grado di distinguere tra << e >>. Se i token non sono stati creati esplicitamente per questi operatori, verranno assegnati tipi arbitrari e non saranno disponibili costanti nominate per il riferimento a tali operatori.

Questo avviso aiuta anche evitare le seguenti situazioni problematiche:

• Una regola parser contiene un riferimento di token errato. Senza l'avviso, questo potrebbe portare alla creazione silenziosa di un token aggiuntivo che potrebbe non essere mai abbinato.

• Una regola parser contiene un riferimento di token non intenzionale, come il seguente:

  number : zero | INTEGER; 
  zero : '0'; // <-- this implicit definition causes 0 to get its own token 
  

Answer 2

Se si sta scrivendo la grammatica lesser che non verrebbe utilizzata su più grammi di parser, è possibile ignorare questo avviso visualizzato da ANTLRWorks2.