ArkScript-lang / ArkScript-lang/Ark

Add mutation testing in the CI

Offen
#506 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
❗️ priority/low 👷 ci 🧪 tests
Vorherrschende Sprache
C++
Sterne
728
Forks
54
Ø Merge
4 Std. 8 Min.
Gemergte PRs (30 T.)
2

Beschreibung

### Is your feature request related to a problem?

I’d like to improve ArkScript test suites. We already have coverage, but that only tells us the code was executed, not that it’s correct.

### Describe the solution you would like

To improve our tests, I’d like to add mutation testing (along side the existing fuzzing and coverage).

The idea would be to add a job running in parallel with the valgrind job. The idea is to run mutation testing on a single OS with a single compiler, to report how many tests should be improved.

https://www.youtube.com/watch?v=lhcXAnNgzlo

### Is it a big modification to the language? Leave it if you don't know

- [ ] Breaking change
- [ ] Compiler/syntax modifications
- [ ] Runtime modifications (standard library, modules, packages...)

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Untersuche zuerst die bestehende CI-Konfiguration sowie die Fuzzing-, Coverage- und Valgrind-Jobs. Wähle einen Ansatz für Mutationstests aus und dokumentiere ihn. Überprüfe anschließend, dass ein paralleler Job auf einem Betriebssystem und mit einem Compiler ausgeführt wird und meldet, wie viele Tests verbessert werden müssen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
cpp
Bereich
ci-cd, testing
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.