python / python/typing

Conformance tests: Align automated and manual scoring

Offen
#1,692 1 Kommentar 2 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

topic: other
Vorherrschende Sprache
Python
Sterne
1.8k
Forks
302
Ø Merge
23 Std.
Gemergte PRs (30 T.)
8

Beschreibung

In #1678 I added an automated tool for scoring the conformance test suite, and #1682 and #1683 added some features to support edge cases.

Now I am working on going through the remaining files where the automated conformance judgment on a file differs from the manual one (open PRs: #1684, #1685, #1687, #1688, #1689, #1690, #1691).

I'll use this issue to track the remaining discrepancies (from conformance/src/unexpected_fails.py):

  • mypy/dataclasses_usage.toml: Pass vs. Fail (#1684)
  • mypy/directives_version_platform.toml: Pass vs. Fail (#1685)
  • mypy/namedtuples_define_functional.toml: Pass vs. Fail
  • mypy/overloads_basic.toml: Pass vs. Fail (#1687)
  • mypy/specialtypes_never.toml: Pass vs. Fail (#1688)
  • mypy/typeddicts_alt_syntax.toml: Pass vs. Fail (#1689)
  • mypy/typeddicts_type_consistency.toml: Pass vs. Fail (#1690)
  • pyre/directives_reveal_type.toml: Unsupported vs. Pass
  • pyre/namedtuples_define_functional.toml: Pass vs. Fail
  • pyright/classes_override.toml: Pass vs. Fail (#1691)
  • pyright/dataclasses_frozen.toml: Pass vs. Fail (#1699)
  • pyright/dataclasses_slots.toml: Pass vs. Fail (#1699)
  • pyright/dataclasses_transform_field.toml: Pass vs. Fail (#1699)
  • pyright/dataclasses_transform_func.toml: Pass vs. Fail (#1699)
  • pyright/generics_defaults.toml: Pass vs. Fail (#1700)
  • pyright/literals_literalstring.toml: Pass vs. Fail (#1701)
  • pyright/overloads_basic.toml: Pass vs. Fail (#1687)
  • pyright/protocols_variance.toml: Pass vs. Fail (#1702)
  • pyright/specialtypes_never.toml: Pass vs. Fail (#1688)
  • pyright/tuples_unpacked.toml: Pass vs. Fail (#1703)
  • pytype/dataclasses_usage.toml: Pass vs. Fail (#1684)
  • pytype/directives_assert_type.toml: Pass vs. Fail (#1706)
  • pytype/directives_version_platform.toml: Pass vs. Fail (#1685)
  • pytype/generics_scoping.toml: Pass vs. Fail (#1704)
  • pytype/typeddicts_inheritance.toml: Pass vs. Fail (#1705)

Any help is appreciated.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginne mit conformance/src/unexpected_fails.py und prüfe die noch nicht abgehakten Abweichungen für mypy/namedtuples_define_functional.toml, pyre/directives_reveal_type.toml und pyre/namedtuples_define_functional.toml. Vergleiche jedes automatisierte Ergebnis mit seiner manuellen Bewertung und gleiche die verbleibenden Fälle ab. Erledigt bedeutet, dass die drei aufgeführten Abweichungen behoben sind und die Conformance-Bewertung mit den manuellen Ergebnissen übereinstimmt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
testing-qa
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.