关于优化扫描器的建议

在进入三个逐行扫描器之前,先过一遍预处理。
逐行检测并去除代码里的所有注释代码,还有宏前面的无用空格部分。
然后再根据不同的字符串特征进行判断。
在进入不同的扫描器分支代码。
运算完了之后返回最小单元的数组。
并写入文件

該 issue 描述了新增一個前處理步驟：在進入逐行 scanner 之前，移除註解掉的程式碼以及巨集之前的空白。請在程式碼庫中尋找 scanner 的進入點，它們可能位於名為 scanner.py 或 tokenizer.py 的檔案中。了解目前的字串功能偵測與分支邏輯，以便整合新的前處理步驟。輸出應是寫入檔案的最小 unit 陣列。

由索引模型根據 Issue 內容生成。