MagicStack / MagicStack/httptools
`on_url` not called intermittently?
まだ誰も着手していません。
- 主要言語
- Python
- スター
- 1.3k
- フォーク
- 107
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
From time to time, my server output an error that let me think that Request.on_url is not called for the current stream.
Here is a small script to reproduce the behaviour:
import asyncio
from httptools import HttpRequestParser
class Request:
def __init__(self):
self.EOF = False
def on_url(self, url: bytes):
self.on_url_called = True
def on_message_complete(self):
self.EOF = True
async def serve(reader, writer):
chunks = 2 ** 16
req = Request()
parser = HttpRequestParser(req)
while True:
data = await reader.read(chunks)
parser.feed_data(data)
if not data or req.EOF:
break
assert req.on_url_called
writer.write(b'HTTP/1.1 200 OK\r\nContent-Length: 2\r\n\r\nOK')
writer.write_eof()
if __name__ == '__main__':
loop = asyncio.get_event_loop()
coro = loop.create_task(asyncio.start_server(serve, '127.0.0.1', 8080))
server = loop.run_until_complete(coro)
try:
loop.run_forever()
except KeyboardInterrupt:
print('Bye.')
finally:
server.close()
loop.run_until_complete(server.wait_closed())
loop.close()
To be run with python file.py
And then benchmark it with something like ab -n 10000 -c 8 'http://127.0.0.1:8080/'
Once every, say, 10000 requests, I get this error:
Task exception was never retrieved
future: <Task finished coro=<serve() done, defined at test_httptools.py:18> exception=AttributeError("'Request' object has no attribute 'on_url_called'",)>
Traceback (most recent call last):
File "test_httptools.py", line 27, in serve
assert req.on_url_called
AttributeError: 'Request' object has no attribute 'on_url_called'
Any hint? :)
Thanks!
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
test_httptools.py のスクリプトと、レポートで説明されている ab ベンチマークを使って、断続的に発生する失敗を再現します。HttpRequestParser と parser.feed_data から開始し、リクエストデータがどのように Request.on_url に到達するかを追跡します。有効なリクエストが on_url_called を設定しないまま完了できる理由を特定し、その動作に対するカバレッジを追加または更新できれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python
- 領域
- backend, networking
- issue の種類
- バグ
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 45/100