benchmark-action / benchmark-action/github-action-benchmark

Error: No benchmark found for bench suite. Possibly mangled output from Catch2:

オープン
#55 コメント 3 件 リアクション 1 件 担当者 0 名 GitHub で見る
主要言語
TypeScript
スター
1.3k
フォーク
184
PR マージ指標
30日以内にマージされた PR はありません

説明

I'm about to set up continuous benchmarking for our project. We benchmark C++ code in a combined R/C++ project with catch2 in a docker container.

When I try to deploy the benchmark results, I get an error that I struggle to approach:

`Error: No benchmark found for bench suite. Possibly mangled output from Catch2:`

The benchmark results look fine, however:

```
Run leoholz/github-action-benchmark@v1
with:
name: Spectre Benchmark
tool: catch2
output-file-path: benchmark_result.txt
github-token: ***
auto-push: true
alert-threshold: 150%
comment-on-alert: true
fail-on-alert: false
alert-comment-cc-users: @bitbacchus
gh-pages-branch: gh-pages
benchmark-data-dir-path: dev/bench
skip-fetch-gh-pages: false
comment-always: false
save-data-file: true
/usr/bin/docker exec a9f0ac018dd04072460f5c72e60419a21237b5e40c9c55dd861053ffe2aeba52 sh -c "cat /etc/*release | grep ^ID"
Error: No benchmark found for bench suite. Possibly mangled output from Catch2:

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
benchmark is a Catch v2.13.4 host application.
Run with -? for options

-------------------------------------------------------------------------------
MinConf benchmarks
-------------------------------------------------------------------------------
../../tests/benchmark/benchmark-minconf.cpp:6
...............................................................................

benchmark name samples iterations estimated
mean low mean high mean
std dev low std dev high std dev
-------------------------------------------------------------------------------
MinConf optimize 3 sites, 3
species, <<5k iterations 100 1 146.934 ms
1.42295 ms 1.42224 ms 1.42373 ms
3.80964 us 3.33283 us 4.54339 us

MinConf optimize 100 sites, 139
species, 5 iterations 100 1 22.8952 s
227.471 ms 227.076 ms 227.933 ms
2.18339 ms 1.78353 ms 3.1476 ms

Calculate commonness for a 100x100
solution 100 1 35.275 ms
353.03 us 352.65 us 353.71 us
2.52869 us 1.67274 us 3.89837 us

===============================================================================
test cases: 1 | 1 passed
assertions: - none -

```

Do you have an idea or suggestions?

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

tool を catch2 に、output-file-path を benchmark_result.txt に設定して、leoholz/github-action-benchmark@v1 を使用してワークフローを再現します。表示された Catch2 v2.13.4 の出力を action がどのようにパースするか、特にベンチマーク名と suite ヘッダーを調査します。既存のベンチマーク出力が受け入れられ、「No benchmark found」エラーなしでデプロイが完了すれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
cpp, docker, typescript
領域
ci-cd, testing-qa, tooling
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。