apache / apache/parquet-java

HadoopStreams to support ByteBufferPositionedReadable input streams

Abierto
#3,080 1 comentario 0 reacciones 0 asignados Ver en GitHub
Type: enhancement
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

### Describe the enhancement requested

If a stream declares in its StreamCapabilities that it supports
ByteBufferPositionedReadable, then use it for `readFully(ByteBuffer)`
All streams in Hadoop 3.0.0 + do declare this.

+ use StreamCapabilities to look for `ByteBufferReadable`.

For detecting ByteBufferReadable, use this probe falling back to the recursive scan.
All streams in the hadoop codebase will report this via StreamCapabilities, but there
may be some third-party streams which do not.

### Component(s)

_No response_

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza en la implementación de HadoopStreams y sigue readFully(ByteBuffer); después, inspecciona cómo se usan StreamCapabilities y el escaneo recursivo existente para detectar streams legibles. El trabajo estará terminado cuando los streams que anuncian ByteBufferPositionedReadable utilicen esa capacidad para readFully(ByteBuffer), mientras que los streams de terceros sigan recurriendo al escaneo recursivo.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
data
Tipo de issue
Nueva funcionalidad
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
48/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.