apache / apache/arrow-java

[java] cannot read datasets with many columns

オープン
#199 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
Type: bug
主要言語
Java
スター
94
フォーク
152
平均マージ
3日 16時間
マージ済み PR(30日)
11

説明

### Describe the bug, including details regarding any error messages, version, and platform.

Dataset API gets stuck if one tries to read many columns (100k+) from a parquet or arrow file. The API works if the amount of columns is narrowed via projection.

**Reproduction:**

Use the code from the [example](https://arrow.apache.org/cookbook/java/dataset.html#constructing-datasets) and try to read a file with 100k columns. No batch will be loaded even if the batch size is 1.

version: arrow-dataset 11.0

### Component(s)

Java

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

Java Dataset API とリンクされたデータセット構築例から始め、100k+ 列を含む parquet または Arrow ファイルと batch size 1 を使ってハングを再現します。絞り込んだ projection と比較しながら読み取り経路を追跡します。報告された wide dataset のケースで、バッチが停止せずに読み込まれれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
42/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。