`TextEncoder.encodeInto()` underfills the destination for some non-ASCII text

Abierto Apto para principiantes
#65,994 2 comentarios 2 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
84/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
cpp, javascript, nodejs
Área
api, backend

Línea de trabajo

Comienza en src/encoding_binding.cc, especialmente en simpleUtfEncodingLength() y findBestFit(), y luego inspecciona la cobertura de WPT en encodeInto.any.js. Reproduce los ejemplos de 33 caracteres y añade cobertura para U+0400–U+07FF y destinos estrechos; se considera terminado cuando encodeInto informa de los valores esperados de lectura/escritura y las pruebas WPT pertinentes pasan.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

There are two problems I found with TextEncoder.encodeInto(), both of which can cause encoding to stall even when the next char can fit the destination.

  1. A 2-byte char requires a 3-byte destination

    const encoder = new TextEncoder();
const text = '\u0400'.repeat(33);

console.log(encoder.encodeInto(text, new Uint8Array(2)));  // { read: 0, written: 0 }
console.log(encoder.encodeInto(text, new Uint8Array(3)));  // { read: 1, written: 2 }

    The second call proves that '\u0400' should fit into a 2-byte array.

  2. Appending an unread character changes encoding progress

    const encoder = new TextEncoder();
const text = 'é'.repeat(33);

console.log(encoder.encodeInto(text, new Uint8Array(2)));  // { read: 0, written: 0 }
console.log(encoder.encodeInto(text + '☺', new Uint8Array(2)));  // { read: 1, written: 2 }

    Appending ☺ should not change whether preceding chars can be read into the buffer, but there it is.

The bugs were introduced by the encodeInto() performance change in Node.js v25.4.0. The examples above use length 33 strings to exercise that optimized path(kSmallStringThreshold = 32). Unfortunately the current encodeInto.any.js WPT tests fail to expose the problems because:

  1. all input cases use 7 or fewer code units
  2. even then, the cases don't use chars between U+0400 and U+07FF, and
  3. their cases don't contain a narrow dst capacity to reveal the signed-byte problem.

Proposed fixes

src/encoding_binding.cc

  1. Incorrect cutoff in simpleUtfEncodingLength()

    -  if (c < 0x400) return 2;
+  if (c < 0x800) return 2;

    (very likely a typo, given the comment immediately below it says "Code points < 0x800: 2 bytes")

  2. Signed-byte handling in findBestFit()

    -    size_t extra = simpleUtfEncodingLength(data[pos]);
+    size_t extra = simpleUtfEncodingLength(UTF16 ? data[pos] : static_cast<uint8_t>(data[pos]));
Lenguaje dominante
JavaScript
Estrellas
122k
Forks
37.4k
Merge medio
4 d 3 h
PR fusionados (30 d)
273

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de nodejs/node

Todos los issues de nodejs/node

Issues similares

Más issues de JavaScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.