[Java] Read a Parquet file into a Table
- 主要言語
- Java
- スター
- 94
- フォーク
- 152
- 平均マージ
- 3日 16時間
- マージ済み PR(30日)
- 11
説明
### Describe the usage question you have. Please include as many useful details as possible.
In Java, what is the canonical way of reading the whole content of a Parquet file into a Table?
I can read the file, as suggested, in a streaming fashion with VectorSchemaRoot, but then I miss how to collate all the batches into a single table.
From what I have understood, the options I have are:
1. build a big VectorSchemaRoot using VectorSchemaRootAppender, then invoke the Table constructor passing the vsr
2. construct FieldVectors explicitly, then read the parquet rows one by one (filling the FieldVectors as I go), then invoke the Table constructor passing a List
I see the C++ implementation has a convenient FromRecordBatches method.
### Component(s)
Java
コントリビューションガイド
調査の方向性
まず VectorSchemaRoot、VectorSchemaRootAppender、および Table コンストラクターの Java での使用方法を読み、次に issue で言及されている C++ の FromRecordBatches 実装と比較します。プロジェクトに、完全な Parquet ファイルを 1 つの Table に読み込むための、決定済みで文書化された標準的な方法、またはカバレッジを備えた同等の Java API があれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 30/100