Better lexing/tokenenization

The current implementation is pretty hacked together and relies on a lot of random if-statements. A proper lexer/tokenizer would go a long way in ensuring scripts are parsed as expected.

Comienza localizando la implementación actual del análisis de scripts y siguiendo dónde su lógica condicional procesa los tokens. Define el límite entre el lexer y el tokenizer, así como las formas de token necesarias para los scripts de Eggshell, antes de cambiar el comportamiento. Se considera terminado cuando los scripts se tokenizan de forma consistente y siguen analizándose como se espera, con cobertura para la sintaxis compatible.

Escrito por el modelo de indexación a partir del texto del issue.