microsoft / microsoft/TypeScript

Proposal: Flatten the AST to speed up tsgo

Aperta
#63,807 5 commenti 1 reazione 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Possible Improvement
Lingua principale
Go
Stelle
111k
Fork
14.3k
Merge medio
2g 4h
PR unite (30g)
132

Descrizione

We may be able to improve `tsgo` performance by changing the AST representation from a pointer-based tree to a flat array.

## Problem

More than 20% of tsgo’s execution time is spent in GC, so optimizing GC should make it run faster.
For example, when running against the VSCode repository with `GOGC=off`, execution becomes 1.24 times faster:

| Repository | default (s) | GOGC=off (s) | Ratio | Command |
| ---------- | ----------- | ------------ | ------------------------ | ------------------------------- |
| VSCode | 6.567 | 5.292 | 1.24 ± 0.11 times faster | npm run compile-check-ts-native |

According to `pprof`, most of the GC time is spent scanning objects, and the parser AST accounts for about 50% of `inuse_space`. This suggests that reducing the scan cost of the AST could reduce GC time.

## Proposed solution

I propose adopting a flat AST. Flattening an AST means [converting its tree data structure into a simple slice](https://www.cs.cornell.edu/~asampson/blog/flattening.html).

As background, Go’s garbage collector [does not scan the backing array of a slice](https://go.dev/wiki/CompilerOptimizations#non-scannable-objects) when the slice element type contains no pointers. This optimization can eliminate the scan cost of large arrays.

If we can apply this to the AST, we should be able to reduce the amount of memory scanned during each GC cycle, which could reduce GC time.

As a first step, we could remove pointers from the `Node` struct like this:

```
type Arena struct {
Node []Node
Data []nodeData // still contains 2 pointers because of interface boxing
}

type NodeId uint32

type Node struct {
Parent NodeId // replace the parent pointer
Kind Kind
Flags NodeFlags
Loc core.TextRange
}
```

This would reduce the number of pointers in the AST and allow scanning to be skipped for `[]Node`.

Note that `nodeData` still contains pointers. It may be possible to optimize this further by making `Arena` hold separate arrays for each type.

## Trade-offs

Pros:

- Better locality, which may improve CPU cache efficiency
- Pointer-free `Node`

Cons:

- Less intuitive API
- More complex dynamic updates and deletion in arrays

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

La issue non nomina file né test; inizia creando un profilo di tsgo con pprof e confrontando il comando VSCode npm run compile-check-ts-native con il GC predefinito e GOGC=off. Leggi attentamente la rappresentazione proposta di Arena, Node, NodeId e nodeData. Il lavoro sarebbe considerato completato con un design di AST piatto validato e miglioramenti misurati nel GC o nell’esecuzione, ma non è specificato alcun obiettivo di accettazione.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
go
Ambito
compilers, performance
Tipo di issue
Refactoring
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.