Make RustPython benchmarks readable
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- rust
調査の方向性
Issue にリンクされている benchmarks ページから始め、特に MICROBENCHMARKS、EXECUTION、PARSE_TO_AST のセクションを確認し、これらのプロットがどこで生成されているかを特定します。現在のラベル、順序、色、読みやすさを比較し、より広範なメタデータやインタラクティブ性を変更する前に、改善項目を絞り込んで定義します。完了の基準は、benchmark のプロットが一貫して読みやすく、CPython と RustPython を区別できることです。
索引モデルが issue の本文から書いたものです。
説明
TL;DR: benchmarks are poorly readable and could be greatly improved. This is key element in convincing people of the soundness of RustPython so it should probably not be neglected IMHO.
The violin plots available here are not easily readable and their Y-axes labels are hardly readable at all because they got left-cut at some point. This is especially troublesome for the MICROBENCHMARKS section, for which it is impossible to tell RustPython from CPython.
This issue could be alleviated by doing the following:
- Use a specific color for CPython and another one for RustPython (and keep this color pair consistent across all plots).
- Always have CPython data on top and RustPython data on bottom (this is not consistent: in the
EXECUTIONtab, CPython is on top and RustPython on bottom, while in tabPARSE_TO_ASTit is the other way around). - Only keep the name of the benchmark in the Y-axis labels, i.e. replace
execution/mandelbrot.py/cpythonby eitherMandelbrot(and use a legend to indicate which color is which interpreter), or make a plot title sayingMandelbrotand use the Y-axis labels to tell whether it is CPython or RustPython.
In addition to these visual issues, some other improvements could be implemented:
- Make the plots user-friendly using some interactive backend such as
plotly. - Put hyperlinks to the benchmark script location / source-code, so that users can check what the benchmarks are actually doing.
- In the same line of thought, add a small descriptive text about what the benchmark does / why it is relevant (for instance "benchmark X is particularly I/O intensive" or whatnot).
- On top of the page, give the hash of the commit / version (possibly with release date to know at a glance if they're outdated or not) of both CPython and RustPython binaries that were used, whether they were recompiled with
-o3locally, as well as the machine specs (this would allow for meaningful comparison and reproducibility).
I think that benchmarks one of the key element that might convince anyone to switch from one interpreter to another (apart from functionalities / low-level bindings). Hence they should not be neglected.
If someone could point me to where these plots are generated, I'd be happy to help typesetting them / add further info (although I might need some technical support about why benchmark X is especially relevant or not).
- 主要言語
- Rust
- スター
- 22.4k
- フォーク
- 1.5k
- 平均マージ
- 15時間 18分
- マージ済み PR(30日)
- 172
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
RustPython/RustPython のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
RustPython/RustPython#8470 · コメント 2 件 ·
-
C-bug
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
RustPython/RustPython#7995 · コメント 5 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
RustPython/RustPython#5577 ·
-
C-bug
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
RustPython/RustPython#8685 · コメント 7 件 · リアクション 1 件 ·
-
C-compat
RustPython/RustPython#8496 · コメント 1 件 · 担当者 1 名 ·
RustPython/RustPython の issue をすべて見る
似ている issue
-
risk:low runtime status:in-progress type:test
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
zeroclaw-labs/zeroclaw#11023 ·
-
good first issue refactor
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
EricSpencer00/Resilient#4835 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
bisq-network/bisq-musig#204 ·
-
agent:ready documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
cesarferreira/stax#890 ·