apache / apache/parquet-java

Pig and Hive cannot read repeated groups written with parquet-protobuf

未关闭
#1,410 1 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
Component: Java Component: Parquet Priority: Major Type: bug
主要语言
Java
星标
3.1k
派生
1.6k
平均合并
3 天 12 小时
30 天内合并 PR
33

描述

parquet-hive and parquet-pig make assumptions about list schemas that are not compatible with the more compact schemas generated by parquet-protobuf. This bug was discussed in more detail on https://github.com/Parquet/parquet-mr/issues/354

**Reporter**: [Nathan Howell](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=NathanHowell)

**Note**: *This issue was originally created as [PARQUET-14](https://issues.apache.org/jira/browse/PARQUET-14). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

贡献指南

这个仓库没有索引到贡献指南

调研方向

首先阅读 parquet-hive 和 parquet-pig 中对 list-schema 的处理,然后利用 issue 354 中的讨论来了解 parquet-protobuf 如何生成紧凑的 repeated-group schema。完成的标准是两个 reader 都能接受这些 schema,同时不破坏现有的 list-schema 处理;内容没有指定具体的文件或测试,因此必须先定位这些入口点。

由索引模型根据 Issue 内容生成。

评估

技术栈
java
领域
data-engineering
Issue 类型
缺陷
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
需要澄清
新手友好度
25/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。