apache / apache/parquet-java

The error message "is not a Parquet file" doesn't show the Parquet path anymore

未关闭 适合新手
#3,354 1 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
Type: bug
主要语言
Java
星标
3.1k
派生
1.6k
平均合并
3 天 12 小时
30 天内合并 PR
33

描述

### Describe the bug, including details regarding any error messages, version, and platform.

Version 1.13.1, used by Spark 3.5: https://github.com/apache/parquet-java/blob/db4183109d5b734ec5930d870cdae161e408ddba/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetFileReader.java#L548

used to show the parquet file path: `Cause: java.lang.RuntimeException: file:/tmp/spark-37..../00000000000000000000.checkpoint.parquet is not a Parquet file (length is too low: 10)`

In version 1.15.2, used by Spark 4: https://github.com/apache/parquet-java/blob/859eac165b08f927fa14590c33bc5f476405fb68/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetFileReader.java#L584

The error message says: `Cause: java.lang.RuntimeException: io.delta.kernel.defaults.internal.parquet.ParquetIOUtils$1@63d4ffeb is not a Parquet file (length is too low: 10)`

### Component(s)

_No response_

贡献指南

这个仓库没有索引到贡献指南

调研方向

首先比较 1.13.1 和 1.15.2 版本中链接的 ParquetFileReader.java 位置,重点关注错误消息如何获取路径。使用所示的 parquet 路径重现报告的短文件情况,并验证生成的异常标识的是该路径,而不是 ParquetIOUtils 对象表示形式。

由索引模型根据 Issue 内容生成。

评估

技术栈
java
领域
data-engineering
Issue 类型
缺陷
难度
2/5
预计耗时
1-3 小时
活跃度
冷清
描述清晰度
描述清楚
新手友好度
68/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。