Performance Testing Continues

Tasks ahead:

• update infrastructure/automation in CI

  • determine which VMs/infrastructure to use
  • get automated tests running on appropriate VMs
  • get macOS tests online

• additional tests

  • convert existing functional tests from vcls-test-vscode to use this format and include in CI
  • add some additional in-depth tests for pytorch/bullet3

• Perfecto changes

  • eliminate the 'perf' tests category and convert the existing 'perf' tests to 'functional' tests
  • reduce the noise in the PIT data a bit (trim counter names a bit, especially after dropping perf/func differences)
  • automate typescript instrumentation a bit more (automatically instrument all providers at register* ) - then remove the code from the extension
  • add some simpler higher-level vscode automation functions (harvest from pytorch tests)

Beginne damit, die verbleibenden Arbeiten in CI-Infrastruktur, zusätzliche Tests und höherstufige VS Code-Automatisierung aufzuteilen. Überprüfe die vorhandenen funktionalen Tests von vcls-test-vscode sowie die Tests von pytorch/bullet3 und ermittle anschließend die geeigneten VMs und das macOS-Setup. Als abgeschlossen gilt die Aufgabe, wenn die ausgewählten Tests in CI ausgeführt werden, die zusätzliche Testabdeckung vorhanden ist und die einfacheren Automatisierungsfunktionen verfügbar sind.