python / python/mypy

Stderr in regular tests should probably go to out as well

Aperta
#19,554 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

bug topic-developer topic-tests
Lingua principale
Python
Stelle
20.6k
Fork
3.3k
Metriche di merge delle PR
Metriche PR in attesa

Descrizione

[out] in regular tests should probably include stderr as well.

Recently, while making https://github.com/python/mypy/pull/19494, I learned that normal tests do not account for errors that go to stderr instead of stdout. This should be fixed, if possible (without performance penalty, so that normal tests can run a broader swath of tests.

This would allow more tests to be moved from slow cmdline tests to fast normal tests, à la https://github.com/python/mypy/issues/5966

I tried mucking about with the invocation of build.build in what struck me as the obvious ways, but even though I was able to get various ---------------------------- Captured stderr call ----------------------------- messages to pop off, I couldn't get the stderr to actually go into [out], even in a very crude way.

I'm not sure about how all this is plumbed, but it seems to me there's a minimal risk of erroneous stderr output messing up unrelated tests with false positives (or are they false negatives?), if we did have this working.

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Inizia tracciando il modo in cui i test normali invocano build.build e il modo in cui [out] acquisisce attualmente l'output, quindi confronta questo percorso con quello dei test della riga di comando lenti indicati. Il lavoro è completato quando stderr è incluso in [out] per i test normali senza penalizzazioni delle prestazioni, consentendo di spostare i test adatti al percorso più veloce.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
testing
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.