`shlex.push_source()` fails to reset lexer state, causing new stream to be ignored if called after EOF

Bug report

Bug description:

Calling shlex.push_source() after the current input has reached EOF leaves the lexer in state == None, so the newly pushed source is never read. Subsequent get_token() calls immediately return EOF instead of consuming the new input.

from shlex import shlex

lexer = shlex('a')
print(lexer.get_token())
print(lexer.get_token())  # EOF -> state is None

lexer.push_source('b', None)
print(lexer.get_token())  # actural '' (EOF), expected: 'b'

a

CPython versions tested on:

3.12

Operating systems tested on:

Linux

Linked PRs

• gh-144560
• gh-150172

Bắt đầu với entry point shlex.shlex và tái hiện trình tự được báo cáo: tiêu thụ đầu vào ban đầu đến EOF, gọi push_source('b', None), sau đó đọc token tiếp theo. Được xem là hoàn tất khi source mới được push được tiêu thụ thay vì trả về EOF; thêm hoặc cập nhật coverage hồi quy cho trình tự này và chạy các test shlex liên quan.