MagicStack / MagicStack/uvloop
memory from transport buffer not freed after connection_lost
Nessuno ha ancora preso questa issue.
- Lingua principale
- Cython
- Stelle
- 11.9k
- Fork
- 616
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
- uvloop version: 0.17.0
- Python version: 3.11.4
- Platform: fedora 38
- Can you reproduce the bug with
PYTHONASYNCIODEBUGin env?: yes, with PYTHONASYNCIODEBUG=1 - Does uvloop behave differently from vanilla asyncio? How?: yes, keeps resident memory
If I flood transport.write() and then close the connection (e.g. having the client telnet session stop) the memory stays resident.
Under stock asyncio, the memory immediately is released.
To reproduce,
- start this program,
- watch it in top
- , telnet to port 8888,
- watch memory usage spike.
- close the telnet session,
- see that memory usage stays high.
- repeat this experiment with stock asyncio runner,
- the memory is freed immediately. after telnet session is closed
This test script is a malloc bomb, so make sure you watch memory closely or you will consume all the memory on your machine
#!/usr/bin/env python3
import asyncio
import uvloop
class EchoServerProtocol(asyncio.Protocol):
def __init__(self, on_connect, on_disconnect):
self.on_connect = on_connect
self.on_disconnect = on_disconnect
def connection_lost(self, transport):
print('Connection lost')
self.on_disconnect()
self.transport = None
def connection_made(self, transport):
self.on_connect(transport)
peername = transport.get_extra_info('peername')
print('Connection from {}'.format(peername))
self.transport = transport
def data_received(self, data):
message = data.decode()
print('Data received: {!r}'.format(message))
print('Send: {!r}'.format(message))
self.transport.write(data)
print('Close the client socket')
async def send_data(transport):
message = b'Hello World!' * 1000
while True:
transport.write(message)
await asyncio.sleep(0)
task = None
def on_connect(transport):
global task
task = asyncio.create_task(send_data(transport))
def on_disconnect():
global task
task.cancel()
async def start():
# Get a reference to the event loop as we plan to use
# low-level APIs.
loop = asyncio.get_running_loop()
server = await loop.create_server(
lambda: EchoServerProtocol(on_connect, on_disconnect),
'127.0.0.1',
8888,
)
async with server:
await server.serve_forever()
if __name__ == '__main__':
# with asyncio.Runner() as runner:
with asyncio.Runner(loop_factory=uvloop.new_event_loop) as runner:
runner.run(start())
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia eseguendo la riproduzione Python fornita con uvloop.new_event_loop, osservando prima la memoria dopo la chiusura della sessione telnet e confrontandola poi con il runner asyncio standard. Traccia il buffer del transport e il percorso di connection_lost; il lavoro è completato quando la memoria viene rilasciata dopo la disconnessione come avviene con asyncio.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- networking
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 35/100