Add streaming to `profiling.sampling`
オープン
まだ誰も着手していません。
stdlib
topic-profiling
type-feature
- 主要言語
- Python
- スター
- 77.2k
- フォーク
- 35.9k
- PR マージ指標
- PR 指標を取得中
説明
Feature or enhancement
Proposal:
Right now, profiling.sampling has roughly two modes: live with the TUI, and snapshot-at-the-end (except binary? but see the note below.) There's nothing that streams the data continously as it comes. This would be ideal for long-running headless profiling.
This one is less defined than #145411, so there are more open questions:
- Should it stream raw or agreggate data? What should be the window?
- What should be the format? Unfortunately, from what I checked the current binary format is not really well-suited for streaming, as it saves the dictionaries only on finalize.
- What should be the transport layers for streaming?
- What should be the types of messages?
- What should be the configuration flags?
- How the backpressure should be handled? Should it drop the oldest? All the oldest?
My hunch is:
- support both raw and aggregate and assume that aggregate is just a different message type.
- start with something simple as JSONL
- I have mixed feelings about the transport layer. The stdout sounds great on paper but it's a mixed-use channel right now and there's a question around blocking by slower consumers. Maybe for debugging? Unix socket is good but not perfectly portable
- as for backpressure, I would just drop the oldest by default, but only the
raw,aggandheartbeatmessages.
For starters:
--stream unix:/tmp/tachyon-stream.sockor--stream file:/tmp/tachyon-stream.sock(later:--stream tcp:127.0.0.1:1234)--stream-types meta|str_def|frame_def|raw|agg:5s|loss|heartbeat|end|error(comma separated; note theagg:5shere; we it could be extended toheartbeat:1setc. in the future)--stream-format jsonl
Then, in the next phases we could think of --stream-drop-policy etc.
Has this already been discussed elsewhere?
No response given
Links to previous discussion of this feature:
No response
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
まず profiling.sampling の実装と、issue #145411 の関連する議論を読みます。設計を絞り込む前に、提案されているストリーム型、JSONL 形式、トランスポート、バックプレッシャーに関する問題を確認します。長時間実行する headless profiling をサポートする、合意済みのストリーミング範囲と設定が定まれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python
- 領域
- performance
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 静か
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100