ArkScript-lang / ArkScript-lang/Ark

Add mutation testing in the CI

オープン
#506 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
❗️ priority/low 👷 ci 🧪 tests
主要言語
C++
スター
730
フォーク
54
平均マージ
4時間 8分
マージ済み PR(30日)
2

説明

### Is your feature request related to a problem?

I’d like to improve ArkScript test suites. We already have coverage, but that only tells us the code was executed, not that it’s correct.

### Describe the solution you would like

To improve our tests, I’d like to add mutation testing (along side the existing fuzzing and coverage).

The idea would be to add a job running in parallel with the valgrind job. The idea is to run mutation testing on a single OS with a single compiler, to report how many tests should be improved.

https://www.youtube.com/watch?v=lhcXAnNgzlo

### Is it a big modification to the language? Leave it if you don't know

- [ ] Breaking change
- [ ] Compiler/syntax modifications
- [ ] Runtime modifications (standard library, modules, packages...)

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず、既存のCI設定と、fuzzing、coverage、Valgrindのジョブを確認します。mutation testingのアプローチを選択して文書化し、その後、1つのOSとコンパイラで並列ジョブが実行され、改善が必要なテストの数を報告することを検証します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
cpp
領域
ci-cd, testing
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。