python / python/cpython

matchfile Worker bug argument list too long when using matchfile to run many tests

Aberta
#139,207 1 comentário 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

tests type-bug
Linguagem predominante
Python
Estrelas
77.2k
Forks
35.9k
Métricas de merge de PRs
Métricas de PR pendentes

Descrição

Bug report

Bug description:

In https://github.com/python/cpython/issues/138313#issuecomment-3264096281, I'm trying to select different subsets of test_importlib to determine which ones are implicated in the failures. Unfortunately, it seems that when extracting the list of tests and then passing that to --matchfile the execution fails with:

+ ./python -u -W error -bb -E -m test --fast-ci --junit-xml test-results.xml test_importlib --matchfile cases.txt --dont-add-python-opts
Using random seed: 893560730
0:00:00 load avg: 0.54 Run 1 test in parallel using 1 worker process (timeout: 10 min, worker timeout: 15 min)
Warning -- regrtest worker thread failed: Traceback (most recent call last):
Warning --   File "/home/stan/cpython/Lib/test/libregrtest/run_workers.py", line 403, in run
Warning --     mp_result = self._runtest(test_name)
Warning --   File "/home/stan/cpython/Lib/test/libregrtest/run_workers.py", line 363, in _runtest
Warning --     retcode, tmp_files = self.run_tmp_files(worker_runtests,
Warning --                          ~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^
Warning --                                             stdout_file.fileno())
Warning --                                             ^^^^^^^^^^^^^^^^^^^^^
Warning --   File "/home/stan/cpython/Lib/test/libregrtest/run_workers.py", line 299, in run_tmp_files
Warning --     retcode = self._run_process(worker_runtests,
Warning --                                 stdout_fd, tmp_dir)
Warning --   File "/home/stan/cpython/Lib/test/libregrtest/run_workers.py", line 180, in _run_process
Warning --     popen = create_worker_process(runtests, output_fd, tmp_dir)
Warning --   File "/home/stan/cpython/Lib/test/libregrtest/worker.py", line 73, in create_worker_process
Warning --     return subprocess.Popen(cmd, **kwargs)
Warning --            ~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^
Warning --   File "/home/stan/cpython/Lib/subprocess.py", line 1037, in __init__
Warning --     self._execute_child(args, executable, preexec_fn, close_fds,
Warning --     ~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Warning --                         pass_fds, cwd, env,
Warning --                         ^^^^^^^^^^^^^^^^^^^
Warning --     ...<5 lines>...
Warning --                         gid, gids, uid, umask,
Warning --                         ^^^^^^^^^^^^^^^^^^^^^^
Warning --                         start_new_session, process_group)
Warning --                         ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Warning --   File "/home/stan/cpython/Lib/subprocess.py", line 1969, in _execute_child
Warning --     raise child_exception_type(errno_num, err_msg, err_filename)
Warning -- OSError: [Errno 7] Argument list too long: '/home/stan/cpython/python'

== Tests result: FAILURE, WORKER BUG ==

It seems there's a limit to the number of lines that can be passed to a --matchfile.

CPython versions tested on:

CPython main branch

Operating systems tested on:

Linux

Guia de contribuição

Abrir o guia de contribuição

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Direção de pesquisa

Comece reproduzindo o comando com um cases.txt grande e, em seguida, inspecione Lib/test/libregrestest/run_workers.py e Lib/test/libregrestest/worker.py na região de criação dos processos worker. Rastreie como a seleção de --matchfile chega a subprocess.Popen e defina a conclusão como executar a seleção grande sem OSError: [Errno 7] Argument list too long.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
python
Domínio
testing-qa
Tipo de issue
Bug
Dificuldade
3/5
Tempo estimado
1-2 dias
Status de atividade
Estagnada
Clareza
Razoavelmente clara
Facilidade para iniciantes
45/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.