apache / apache/arrow-java

[Java] Read a Parquet file into a Table

未关闭
#95 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Java
星标
94
派生
152
平均合并
3 天 16 小时
30 天内合并 PR
11

描述

### Describe the usage question you have. Please include as many useful details as possible.

In Java, what is the canonical way of reading the whole content of a Parquet file into a Table?

I can read the file, as suggested, in a streaming fashion with VectorSchemaRoot, but then I miss how to collate all the batches into a single table.

From what I have understood, the options I have are:

1. build a big VectorSchemaRoot using VectorSchemaRootAppender, then invoke the Table constructor passing the vsr
2. construct FieldVectors explicitly, then read the parquet rows one by one (filling the FieldVectors as I go), then invoke the Table constructor passing a List

I see the C++ implementation has a convenient FromRecordBatches method.

### Component(s)

Java

贡献指南

打开贡献指南

调研方向

首先阅读 VectorSchemaRoot、VectorSchemaRootAppender 以及 Table 构造函数相关的 Java 用法,然后与 issue 中提到的 C++ FromRecordBatches 实现进行比较。当项目确定并记录了将完整 Parquet 文件加载到一个 Table 中的规范路径,或提供具有覆盖率的等效 Java API 时,即视为完成。

由索引模型根据 Issue 内容生成。

评估

技术栈
java
领域
data
Issue 类型
功能
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
需要澄清
新手友好度
30/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。