apache / apache/arrow-java

[Java] Support reading a subset of fields from an IPC file or stream

Abierto
#242 0 comentarios 1 reacción 0 asignados Ver en GitHub
Type: enhancement
Lenguaje dominante
Java
Estrellas
94
Forks
152
Merge medio
3 d 16 h
PR fusionados (30 d)
11

Descripción

C++ supports `IpcReadOptions.included_fields` which lets you load a subset of (top-level) fields from an IPC file or stream, potentially saving on I/O costs. It would be useful to support this in Java as well. Some refactoring would be required since MessageSerializer currently reads record batch messages in as a whole, and it would be good to quantify how much of a benefit this provides in different scenarios.

**Reporter**: [David Li](https://issues.apache.org/jira/browse/ARROW-17914) / @lidavidm

**Note**: *This issue was originally created as [ARROW-17914](https://issues.apache.org/jira/browse/ARROW-17914). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con MessageSerializer y rastrea cómo se leen actualmente los mensajes de record batch desde archivos y streams IPC. Compara el comportamiento deseado con C++ IpcReadOptions.included_fields y, a continuación, define cómo debe funcionar la selección de campos de nivel superior y cuantifica el beneficio de I/O en distintos escenarios.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
data
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
30/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.