python / python/pyperformance

"upload" only works with "compiled" benchmarks

Offen
#38 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Vorherrschende Sprache
Python
Sterne
1k
Forks
203
Ø Merge
1 Std. 20 Min.
Gemergte PRs (30 T.)
2

Beschreibung

My workflow for PyPy is

  1. download latest version compiled on buildbot,
  2. run benchmarks,
  3. upload data (using command line option upload, which goes through compile.py, but should it?.

The cmd_upload function in compile.py assumes BenchmarkRevision.update_metadata from compile.py has been run to add commit information (commit_id, commit_branch, commit_date) and possibly patch_file to the json benchmark info. But because I am not running compile this info is lacking. Possible solutions:

  • add a download_prebuilt option to compile.py and the Python class to support this workflow
  • refactor the update_metadata method from BenchmarkRevision to become part of every benchmark run

Any thoughts? Should there be an upload.py separate from compile.py?

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginne mit dem Lesen von compile.py, insbesondere von cmd_upload, BenchmarkRevision.update_metadata und der Python-Klasse. Verfolge, wie sich heruntergeladene Buildbot-Benchmarks von kompilierten Benchmarks unterscheiden und wie Metadaten vor dem Upload hinzugefügt werden. Fertig ist die Aufgabe, wenn der beschriebene PyPy-Workflow Benchmarkdaten hochladen kann, ohne einen lokalen Kompilierungsschritt zu erfordern, und die gewählte Trennung oder Refaktorierung durch relevante Tests abgedeckt ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
performance, tooling
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
30/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.