Conformance tests: Align automated and manual scoring
まだ誰も着手していません。
- 主要言語
- Python
- スター
- 1.8k
- フォーク
- 302
- 平均マージ
- 23時間
- マージ済み PR(30日)
- 8
説明
In #1678 I added an automated tool for scoring the conformance test suite, and #1682 and #1683 added some features to support edge cases.
Now I am working on going through the remaining files where the automated conformance judgment on a file differs from the manual one (open PRs: #1684, #1685, #1687, #1688, #1689, #1690, #1691).
I'll use this issue to track the remaining discrepancies (from conformance/src/unexpected_fails.py):
- mypy/dataclasses_usage.toml: Pass vs. Fail (#1684)
- mypy/directives_version_platform.toml: Pass vs. Fail (#1685)
- mypy/namedtuples_define_functional.toml: Pass vs. Fail
- mypy/overloads_basic.toml: Pass vs. Fail (#1687)
- mypy/specialtypes_never.toml: Pass vs. Fail (#1688)
- mypy/typeddicts_alt_syntax.toml: Pass vs. Fail (#1689)
- mypy/typeddicts_type_consistency.toml: Pass vs. Fail (#1690)
- pyre/directives_reveal_type.toml: Unsupported vs. Pass
- pyre/namedtuples_define_functional.toml: Pass vs. Fail
- pyright/classes_override.toml: Pass vs. Fail (#1691)
- pyright/dataclasses_frozen.toml: Pass vs. Fail (#1699)
- pyright/dataclasses_slots.toml: Pass vs. Fail (#1699)
- pyright/dataclasses_transform_field.toml: Pass vs. Fail (#1699)
- pyright/dataclasses_transform_func.toml: Pass vs. Fail (#1699)
- pyright/generics_defaults.toml: Pass vs. Fail (#1700)
- pyright/literals_literalstring.toml: Pass vs. Fail (#1701)
- pyright/overloads_basic.toml: Pass vs. Fail (#1687)
- pyright/protocols_variance.toml: Pass vs. Fail (#1702)
- pyright/specialtypes_never.toml: Pass vs. Fail (#1688)
- pyright/tuples_unpacked.toml: Pass vs. Fail (#1703)
- pytype/dataclasses_usage.toml: Pass vs. Fail (#1684)
- pytype/directives_assert_type.toml: Pass vs. Fail (#1706)
- pytype/directives_version_platform.toml: Pass vs. Fail (#1685)
- pytype/generics_scoping.toml: Pass vs. Fail (#1704)
- pytype/typeddicts_inheritance.toml: Pass vs. Fail (#1705)
Any help is appreciated.
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
conformance/src/unexpected_fails.py から始めて、mypy/namedtuples_define_functional.toml、pyre/directives_reveal_type.toml、pyre/namedtuples_define_functional.toml の未チェックの不一致を確認します。各自動化結果を手動判定と比較し、残りのケースを調整します。3 つの不一致が解決され、conformance のスコアが手動結果と一致すれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python
- 領域
- testing-qa
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100