python / python/typing

Conformance tests: Align automated and manual scoring

オープン
#1,692 コメント 1 件 リアクション 2 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

topic: other
主要言語
Python
スター
1.8k
フォーク
302
平均マージ
23時間
マージ済み PR(30日)
8

説明

In #1678 I added an automated tool for scoring the conformance test suite, and #1682 and #1683 added some features to support edge cases.

Now I am working on going through the remaining files where the automated conformance judgment on a file differs from the manual one (open PRs: #1684, #1685, #1687, #1688, #1689, #1690, #1691).

I'll use this issue to track the remaining discrepancies (from conformance/src/unexpected_fails.py):

  • mypy/dataclasses_usage.toml: Pass vs. Fail (#1684)
  • mypy/directives_version_platform.toml: Pass vs. Fail (#1685)
  • mypy/namedtuples_define_functional.toml: Pass vs. Fail
  • mypy/overloads_basic.toml: Pass vs. Fail (#1687)
  • mypy/specialtypes_never.toml: Pass vs. Fail (#1688)
  • mypy/typeddicts_alt_syntax.toml: Pass vs. Fail (#1689)
  • mypy/typeddicts_type_consistency.toml: Pass vs. Fail (#1690)
  • pyre/directives_reveal_type.toml: Unsupported vs. Pass
  • pyre/namedtuples_define_functional.toml: Pass vs. Fail
  • pyright/classes_override.toml: Pass vs. Fail (#1691)
  • pyright/dataclasses_frozen.toml: Pass vs. Fail (#1699)
  • pyright/dataclasses_slots.toml: Pass vs. Fail (#1699)
  • pyright/dataclasses_transform_field.toml: Pass vs. Fail (#1699)
  • pyright/dataclasses_transform_func.toml: Pass vs. Fail (#1699)
  • pyright/generics_defaults.toml: Pass vs. Fail (#1700)
  • pyright/literals_literalstring.toml: Pass vs. Fail (#1701)
  • pyright/overloads_basic.toml: Pass vs. Fail (#1687)
  • pyright/protocols_variance.toml: Pass vs. Fail (#1702)
  • pyright/specialtypes_never.toml: Pass vs. Fail (#1688)
  • pyright/tuples_unpacked.toml: Pass vs. Fail (#1703)
  • pytype/dataclasses_usage.toml: Pass vs. Fail (#1684)
  • pytype/directives_assert_type.toml: Pass vs. Fail (#1706)
  • pytype/directives_version_platform.toml: Pass vs. Fail (#1685)
  • pytype/generics_scoping.toml: Pass vs. Fail (#1704)
  • pytype/typeddicts_inheritance.toml: Pass vs. Fail (#1705)

Any help is appreciated.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

conformance/src/unexpected_fails.py から始めて、mypy/namedtuples_define_functional.toml、pyre/directives_reveal_type.toml、pyre/namedtuples_define_functional.toml の未チェックの不一致を確認します。各自動化結果を手動判定と比較し、残りのケースを調整します。3 つの不一致が解決され、conformance のスコアが手動結果と一致すれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python
領域
testing-qa
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。