python / python/cpython

Fix forced arg format in AC-processed modules with custom converters

Offen
#94,512 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

topic-argument-clinic type-feature
Vorherrschende Sprache
Python
Sterne
77.2k
Forks
36k
PR-Merge-Kennzahlen
PR-Kennzahlen ausstehend

Beschreibung

There are custom Argument Clinic converters that define format_unit but omit parse_arg. As a result, generation of positional argument parsers is forced to back up from the fastest possible _PyArg_CheckPositional to slower _PyArg_ParseStack-based format strings.

Here is a list of such classes (and fixing PRs except complex cases):

  • Modules\_multiprocessing\multiprocessing.c (gh-94517)

    • HANDLE_converter
  • Modules\_multiprocessing\semaphore.c

    • SEM_HANDLE_converter
  • Modules\overlapped.c (gh-94516)

    • OVERLAPPED_converter
    • HANDLE_converter
    • ULONG_PTR_converter
    • DWORD_converter
    • BOOL_converter
  • Modules\posixmodule.c (gh-122516)

    • pid_t_converter
    • idtype_t_converter
    • id_t_converter
    • intptr_t_converter
    • Py_off_t_converter
  • Modules\resource.c (gh-94515)

    • pid_t_converter
  • PC\msvcrtmodule.c (gh-94514)

    • HANDLE_converter
  • PC\winreg.c (gh-94513)

    • REGSAM_converter
    • DWORD_converter
    • HKEY_converter

An example of such a converter:

class BOOL_converter(CConverter):
    type = 'BOOL'
    format_unit = 'i'

class pid_t_converter(CConverter):
    type = 'pid_t'
    format_unit = '" _Py_PARSE_PID "'

I'm going to teach all of them about low-level generation by replacing manual format_unit definitions with:

  • inheritance from a corresponding builtin converter where possible
  • and custom parse_args in other places.

For the example it gives:

class BOOL_converter(int_converter):
    type = 'BOOL'

class pid_t_converter(CConverter):
    type = 'pid_t'
    # Left as a backup for potential complex cases
    format_unit = '" _Py_PARSE_PID "'

    def parse_arg(self, argname, displayname):
        return """
            {paramname} = PyLong_AsPid({argname});
            if ({paramname} == -1 && PyErr_Occurred()) {{{{
                goto exit;
            }}}}
            """.format(argname=argname, paramname=self.parser_name)

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginne mit Modules/_multiprocessing/semaphore.c und dessen SEM_HANDLE_converter und lies anschließend die aufgeführten Konverterbeispiele sowie die entsprechenden abgehakten Module zum Vergleich. Überprüfe, wie Argument Clinic format_unit und parse_arg bei der Generierung positional parser verwendet. Die Aufgabe ist abgeschlossen, wenn der Konverter nicht mehr den langsameren format-string parser erzwingt und weiterhin eine korrekte Argumentanalyse gewährleistet.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
c, python
Bereich
performance, tooling
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.