TextDecoder: ERR_ENCODING_INVALID_ENCODED_DATA on very long array buffer
まだ誰も着手していません。
- 主要言語
- JavaScript
- スター
- 122k
- フォーク
- 37.3k
- 平均マージ
- 4日 2時間
- マージ済み PR(30日)
- 283
説明
Version
v18.14.1
Platform
Linux 5.19.0-38-generic #39~22.04.1-Ubuntu SMP PREEMPT_DYNAMIC Fri Mar 17 21:16:15 UTC 2 x86_64 x86_64 x86_64 GNU/Linux
Subsystem
No response
What steps will reproduce the bug?
When I try to decode a long utf-16le encoded buffer, ERR_ENCODING_INVALID_ENCODED_DATA is thrown instead of ERR_STRING_TOO_LONG.
new TextDecoder("utf-16le").decode(new Uint16Array(2**27).fill(48))
// Uncaught TypeError: The encoded data was not valid for encoding utf-16le
// at TextDecoder.decode (node:internal/encoding:448:14) {
// code: 'ERR_ENCODING_INVALID_ENCODED_DATA'
// }
The default encoding version seems to work correctly, and throws an appropriate error
new TextDecoder().decode(new Uint8Array(2**29).fill(48))
// Uncaught Error: Cannot create a string longer than 0x1fffffe8 characters
// at TextDecoder.decode (node:internal/encoding:433:16) {
// code: 'ERR_STRING_TOO_LONG'
// }
Another thing that I realized is that TextDecoder() seems to be capable of consuming an array buffer twice as long as TextDecoder("utf-16le") without throwing error, and produce a string that's 4 times as long.
How often does it reproduce? Is there a required condition?
Confirmed this bug in both normal file execution and node.js repl
What is the expected behavior? Why is that the expected behavior?
new TextDecoder("utf-16le") should be able to create a string up to 0x1fffffe8 characters.
It should throw ERR_STRING_TOO_LONG when this length is exceeded.
What do you see instead?
ERR_ENCODING_INVALID_ENCODED_DATA is thrown when the input Uint16Array length is 2**27
Uncaught TypeError: The encoded data was not valid for encoding utf-16le
at TextDecoder.decode (node:internal/encoding:448:14) {
code: 'ERR_ENCODING_INVALID_ENCODED_DATA'
}
Additional information
No response
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
node:internal/encoding:448 に示されている TextDecoder.decode パスから始め、node:internal/encoding:433 のデフォルトデコーダーパスと比較します。提供されている Uint16Array 入力を使って utf-16le のケースを再現し、その後、デコードされた出力が大きすぎる場合に ERR_ENCODING_INVALID_ENCODED_DATA ではなく ERR_STRING_TOO_LONG が報告されることを確認します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- javascript, node.js
- 領域
- backend
- issue の種類
- バグ
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 活発
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 55/100