Better lexing/tokenenization

The current implementation is pretty hacked together and relies on a lot of random if-statements. A proper lexer/tokenizer would go a long way in ensuring scripts are parsed as expected.

Inizia individuando l’implementazione attuale del parsing degli script e tracciando dove la sua logica condizionale gestisce i token. Definisci il confine tra lexer e tokenizer e le forme dei token necessarie per gli script Eggshell prima di modificare il comportamento. Il lavoro è completato quando gli script vengono tokenizzati in modo coerente e continuano a essere analizzati come previsto, con una copertura per la sintassi supportata.

Scritto dal modello di indicizzazione a partire dal testo della issue.