apache / apache/parquet-java

[CPP] Unable to read files written by parquet-cpp from parquet-tools

未关闭
#2,033 12 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
Component: Parquet Priority: Major Type: bug
主要语言
Java
星标
3.1k
派生
1.6k
平均合并
3 天 12 小时
30 天内合并 PR
33

描述

I could not read files written by parquet-cpp from parquet-tools and Hive.
Setting field ids in the schema metadata seems to be the problem. We should make setting the field_id optional.

**Reporter**: [Deepak Majeti](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=mdeepak) / @majetideepak
#### Original Issue Attachments:
- [parquet_cpp_example.parquet](https://issues.apache.org/jira/secure/attachment/12849181/parquet_cpp_example.parquet)

**Note**: *This issue was originally created as [PARQUET-838](https://issues.apache.org/jira/browse/PARQUET-838). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

贡献指南

这个仓库没有索引到贡献指南

调研方向

首先使用 parquet-tools 和 Hive,通过附加的 parquet_cpp_example.parquet 文件复现故障,然后检查 parquet-java 的 schema 元数据中字段 ID 的写入方式。当不要求字段 ID 时,parquet-tools 和 Hive 能够读取由 parquet-cpp 写入的文件,即表示完成。

由索引模型根据 Issue 内容生成。

评估

技术栈
cpp, java
领域
data-engineering
Issue 类型
缺陷
难度
3/5
预计耗时
1-2 天
活跃度
停滞
描述清晰度
基本清楚
新手友好度
45/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。