theupdateframework / theupdateframework/python-tuf
tests: test infrastructure (setup/teardown) improvements
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 1.7k
- Forks
- 304
- Ø Merge
- 1 T. 2 Std.
- Gemergte PRs (30 T.)
- 17
Beschreibung
(Documenting test improvement ideas from #1346)
A lot (most?) of our tests require a test server (or several). This typically means moving metadata from sources to a temp directory, serving the temp directory and finally removing the temporary directories. Modified_Testcase handles parts of that but it seems obvious that A) it does not provide the required functionality (as tests re-implement a lot of it) and B) that it is hard to use correctly (as #1346 and many previous issues prove). The end result is that there are temp directories created inside tempdirectories and then those directories may or may not get removed (often in a fairly random order)
The common needs are these I think:
- Test class must be able to serve a repository that all its tests run against
- test instance must be able to serve it's own repository (because it wants to modify the contents)
- the served repository paths must be exposed so the content can be modified during test
We could have a better Modified_Testcase that just always runs one test server per class, and provides helpers to "intitialize a new repo" (copy files from sources into a directory inside the served directory). This way both server startup/shutdown and tempdir management would be handled in one place: the actual test classes would only have to remember to chain up Setup*() and *Teardown() -- if they even need those when Modified_Testcase is better.
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne damit, Modified_Testcase und die Diskussion zur Testinfrastruktur aus #1346 zu lesen, um die bestehenden Muster für Setup und Teardown zu erfassen. Vergleiche, wie Tests Repositories und temporäre Verzeichnisse erstellen, bereitstellen, verfügbar machen und entfernen. Als erledigt gilt die Aufgabe, wenn der gemeinsame Ansatz Repositories auf Klassen- und Instanzebene ohne wiederholte oder unzuverlässige Bereinigung abdeckt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- testing-qa
- Issue-Typ
- Refactoring
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100