Performance Testing Continues

Tasks ahead:

• update infrastructure/automation in CI

  • determine which VMs/infrastructure to use
  • get automated tests running on appropriate VMs
  • get macOS tests online

• additional tests

  • convert existing functional tests from vcls-test-vscode to use this format and include in CI
  • add some additional in-depth tests for pytorch/bullet3

• Perfecto changes

  • eliminate the 'perf' tests category and convert the existing 'perf' tests to 'functional' tests
  • reduce the noise in the PIT data a bit (trim counter names a bit, especially after dropping perf/func differences)
  • automate typescript instrumentation a bit more (automatically instrument all providers at register* ) - then remove the code from the extension
  • add some simpler higher-level vscode automation functions (harvest from pytorch tests)

Inizia separando il lavoro rimanente in infrastruttura CI, test aggiuntivi e automazione di VS Code di livello superiore. Esamina i test funzionali esistenti di vcls-test-vscode e i test di pytorch/bullet3, quindi individua le VMs e la configurazione macOS appropriate. Il lavoro è completato quando i test selezionati vengono eseguiti in CI, la copertura aggiuntiva è presente e le funzioni di automazione più semplici sono disponibili.