microsoft / microsoft/TypeScript
Proposal: Flatten the AST to speed up tsgo
まだ誰も着手していません。
- 主要言語
- Go
- スター
- 111k
- フォーク
- 14.3k
- 平均マージ
- 2日 4時間
- マージ済み PR(30日)
- 132
説明
We may be able to improve `tsgo` performance by changing the AST representation from a pointer-based tree to a flat array.
## Problem
More than 20% of tsgo’s execution time is spent in GC, so optimizing GC should make it run faster.
For example, when running against the VSCode repository with `GOGC=off`, execution becomes 1.24 times faster:
| Repository | default (s) | GOGC=off (s) | Ratio | Command |
| ---------- | ----------- | ------------ | ------------------------ | ------------------------------- |
| VSCode | 6.567 | 5.292 | 1.24 ± 0.11 times faster | npm run compile-check-ts-native |
According to `pprof`, most of the GC time is spent scanning objects, and the parser AST accounts for about 50% of `inuse_space`. This suggests that reducing the scan cost of the AST could reduce GC time.
## Proposed solution
I propose adopting a flat AST. Flattening an AST means [converting its tree data structure into a simple slice](https://www.cs.cornell.edu/~asampson/blog/flattening.html).
As background, Go’s garbage collector [does not scan the backing array of a slice](https://go.dev/wiki/CompilerOptimizations#non-scannable-objects) when the slice element type contains no pointers. This optimization can eliminate the scan cost of large arrays.
If we can apply this to the AST, we should be able to reduce the amount of memory scanned during each GC cycle, which could reduce GC time.
As a first step, we could remove pointers from the `Node` struct like this:
```
type Arena struct {
Node []Node
Data []nodeData // still contains 2 pointers because of interface boxing
}
type NodeId uint32
type Node struct {
Parent NodeId // replace the parent pointer
Kind Kind
Flags NodeFlags
Loc core.TextRange
}
```
This would reduce the number of pointers in the AST and allow scanning to be skipped for `[]Node`.
Note that `nodeData` still contains pointers. It may be possible to optimize this further by making `Arena` hold separate arrays for each type.
## Trade-offs
Pros:
- Better locality, which may improve CPU cache efficiency
- Pointer-free `Node`
Cons:
- Less intuitive API
- More complex dynamic updates and deletion in arrays
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
この issue ではファイルもテストも指定されていません。まず pprof で tsgo のプロファイリングを行い、デフォルトの GC と GOGC=off で VSCode のコマンド npm run compile-check-ts-native を比較してください。提案されている Arena、Node、NodeId、nodeData の表現を注意深く読んでください。完了とみなすには、検証済みのフラット AST 設計と、GC または実行の測定可能な改善が必要ですが、受け入れ目標は指定されていません。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- go
- 領域
- compilers, performance
- issue の種類
- リファクタリング
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 静か
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100