pathlib: Path.iterdir() is surprisingly not streaming

Bug report

Suprisingly (contrary to its name and being a generator), Path.iterdir() does not stream directory entries:

It reads all directory entries into memory before yielding the first entry.

This can cause excessive memory usage when "iterating" over very large directories.

Users would expect by default that .iterdir() operates in a streaming way, like UNIX find or readdir(), streaming e.g. the results of the underlying system calls such as getdents64() on Linux.

But it does entries = list(scandir_it) instead:

https://github.com/python/cpython/blob/c419af9e277bea7dd78f4defefc752fe93b0b8ec/Lib/pathlib/__init__.py#L835-L843

This should be documented, and can hopefully be fixed without too much breakage.

CPython versions tested on:

CPython main branch

Operating systems tested on:

Linux

Related issues

• https://github.com/python/cpython/issues/129871

Linked PRs

• gh-136060

Bắt đầu với Lib/pathlib/init.py tại phần triển khai Path.iterdir() được liên kết, khoảng các dòng 835-843, sau đó xem xét issue liên quan 129871 và PR được liên kết 136060. Xác nhận hành vi lặp dự kiến và các yêu cầu về khả năng tương thích; công việc được xem là hoàn tất khi hành vi streaming của issue đã được xử lý và được bao phủ bởi các kiểm thử pathlib liên quan.