apache / apache/arrow-java

[java] cannot read datasets with many columns

未关闭
#199 1 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
Type: bug
主要语言
Java
星标
94
派生
152
平均合并
3 天 16 小时
30 天内合并 PR
11

描述

### Describe the bug, including details regarding any error messages, version, and platform.

Dataset API gets stuck if one tries to read many columns (100k+) from a parquet or arrow file. The API works if the amount of columns is narrowed via projection.

**Reproduction:**

Use the code from the [example](https://arrow.apache.org/cookbook/java/dataset.html#constructing-datasets) and try to read a file with 100k columns. No batch will be loaded even if the batch size is 1.

version: arrow-dataset 11.0

### Component(s)

Java

贡献指南

打开贡献指南

调研方向

从 Java Dataset API 和链接的数据集构造示例开始,使用包含 100k+ 列且 batch size 为 1 的 parquet 或 Arrow 文件重现卡死。跟踪读取路径,同时将其与缩小后的 projection 进行比较;对于报告的宽数据集情况,如果各批次能够加载且不会卡住,则表示完成。

由索引模型根据 Issue 内容生成。

评估

技术栈
java
领域
data
Issue 类型
缺陷
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
基本清楚
新手友好度
42/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。