ArkScript-lang / ArkScript-lang/Ark
Add mutation testing in the CI
- 主要言語
- C++
- スター
- 730
- フォーク
- 54
- 平均マージ
- 4時間 8分
- マージ済み PR(30日)
- 2
説明
### Is your feature request related to a problem?
I’d like to improve ArkScript test suites. We already have coverage, but that only tells us the code was executed, not that it’s correct.
### Describe the solution you would like
To improve our tests, I’d like to add mutation testing (along side the existing fuzzing and coverage).
The idea would be to add a job running in parallel with the valgrind job. The idea is to run mutation testing on a single OS with a single compiler, to report how many tests should be improved.
https://www.youtube.com/watch?v=lhcXAnNgzlo
### Is it a big modification to the language? Leave it if you don't know
- [ ] Breaking change
- [ ] Compiler/syntax modifications
- [ ] Runtime modifications (standard library, modules, packages...)
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず、既存のCI設定と、fuzzing、coverage、Valgrindのジョブを確認します。mutation testingのアプローチを選択して文書化し、その後、1つのOSとコンパイラで並列ジョブが実行され、改善が必要なテストの数を報告することを検証します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- cpp
- 領域
- ci-cd, testing
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100