asyncio.StreamReader raises BufferError with active memoryview
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 77.2k
- Forks
- 35.9k
- PR-Merge-Kennzahlen
- PR-Kennzahlen ausstehend
Beschreibung
Bug report
Bug description:
Summary
When StreamReader has an active memoryview export of its internal buffer, methods that mutate the buffer in place can raise:
BufferError: Existing exports of data: object cannot be re-sized
This appears in real workloads with async database drivers, but the root cause is in StreamReader buffer mutation behavior.
Steps to reproduce
import asyncio
async def main():
r = asyncio.StreamReader()
r.feed_data(b"AABBCCDD")
# Simulate a consumer that keeps a memoryview alive
mv = memoryview(r._buffer)
# Triggers BufferError in current implementation
await r.readexactly(4)
mv.release()
asyncio.run(main())
Expected behavior
readexactly(4) should return b"AABB" without raising BufferError.
Actual behavior
BufferError: Existing exports of data: object cannot be re-sized
Why this happens
Some StreamReader paths mutate bytearray in place, for example slice deletion and clear operations. In-place resize is not allowed while a memoryview export exists.
Affected methods
readreadlinereaduntilreadexactly
Environment
- Python: 3.13.x, 3.14.x (also reproducible in local tests with newer builds)
- OS: macOS (also observed in Linux server workloads)
- Third-party context where this is frequently hit: async DB drivers using memoryview over packet buffers
Possible fix direction
Replace in-place buffer mutations with non-mutating replacement assignments, for example:
- replace slice delete with reassignment to remaining bytes
- replace clear with assigning a new empty bytearray
If useful, I can open a PR with tests covering the regression paths.
CPython versions tested on:
3.13
Operating systems tested on:
macOS
Linked PRs
- gh-146380
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne mit asyncio.StreamReader und den im Bericht beschriebenen Pfaden für read, readline, readuntil und readexactly; führe die bereitgestellte Reproduktion aus, um den BufferError bei einer aktiven memoryview zu beobachten. Als erledigt gilt die Aufgabe, wenn diese Methoden die erwarteten Daten zurückgeben, ohne eine Ausnahme auszulösen, und eine Regressionstestabdeckung für die betroffenen Buffer-Mutationspfade vorhanden ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- backend
- Issue-Typ
- Bug
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100