Use FixedSizeBinary instead of Binary for int96 conversion when convertInt96ToArrowTimestamp is false
- 主要语言
- Java
- 星标
- 3.1k
- 派生
- 1.6k
- 平均合并
- 3 天 12 小时
- 30 天内合并 PR
- 33
描述
### Describe the enhancement requested
```java
public TypeMapping convertINT96(PrimitiveTypeName primitiveTypeName) throws RuntimeException {
if (convertInt96ToArrowTimestamp) {
return field(new ArrowType.Timestamp(TimeUnit.NANOSECOND, null));
} else {
return field(new ArrowType.Binary());
}
}
```
When converting a Parquet type to an Arrow type, if the original type is int96 and the option convertInt96ToArrowTimestamp is set to false, the resulting Arrow type defaults to Binary. However, it might be more appropriate to use FixedSizeBinary instead.
### Component(s)
_No response_
贡献指南
这个仓库没有索引到贡献指南
调研方向
从 issue 中所示的 convertINT96 方法开始,检查周围的 Parquet-to-Arrow 类型映射。当 convertInt96ToArrowTimestamp 为 false 时,确认 int96 适当的 FixedSizeBinary 表示,然后使用相关的转换测试验证所得映射。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- java
- 领域
- data-engineering
- Issue 类型
- 功能
- 难度
- 2/5
- 预计耗时
- 1-3 小时
- 活跃度
- 停滞
- 描述清晰度
- 基本清楚
- 新手友好度
- 45/100