apache / apache/parquet-java

Local timestamps fields for Avro schema are not supported

未关闭
#1,665 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
Component: Avro Component: Parquet Priority: Major Type: bug
主要语言
Java
星标
3.1k
派生
1.6k
平均合并
3 天 12 小时
30 天内合并 PR
33

描述

Avro schema supports the creation of local timestampe fields:
```java

LocalTimestampMillis datetimeType = LogicalTypes.localTimestampMillis();
field = new Schema.Field(attrDesc.getAttributeName(), Schema.createUnion(datetimeType.addToSchema(Schema.create(Schema.Type.LONG), Schema.create(Schema.Type.NULL)), doc, null);
```
But since there is no support in the AvroSchemaConverter.convertLogicalType method, these fields end up as BIGINT (as reported in e.g. Apache Drill).

**Reporter**: [Stefan Ziegler](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=edi.gonzales)

**Note**: *This issue was originally created as [PARQUET-2315](https://issues.apache.org/jira/browse/PARQUET-2315). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

贡献指南

这个仓库没有索引到贡献指南

调研方向

从 issue 中提到的入口 AvroSchemaConverter.convertLogicalType 开始,跟踪 localTimestampMillis 逻辑类型目前是如何转换的。通过检查本地时间戳字段是否表示为时间戳而不是 BIGINT 来确认这项更改,同时包括 issue 中描述的 nullable union 示例。

由索引模型根据 Issue 内容生成。

评估

技术栈
java
领域
data-engineering
Issue 类型
缺陷
难度
3/5
预计耗时
1-2 天
活跃度
停滞
描述清晰度
基本清楚
新手友好度
52/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。