Merging two valid parquet files produces a corrupted result file in 1.12.1
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
This ticket relates to PARQUET-2027. In the previous ticket for two parquet files produced by 1.11.x merging was failing in 1.12.0. For 1.12.1 merging was fixed, i. e. it doesn't fail. But in the same time it results with a corrupted output file. The error:
```java
Dictionary page must be before data page.
```
is thrown when one tries to read it. It comes from this .
I attached two example input files and the outcome of merging.
**Reporter**: [Matthew M](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=eltherion)
#### Original Issue Attachments:
- [input_file1.parquet](https://issues.apache.org/jira/secure/attachment/13034644/input_file1.parquet)
- [input_file2.parquet](https://issues.apache.org/jira/secure/attachment/13034643/input_file2.parquet)
- [output_file.parquet](https://issues.apache.org/jira/secure/attachment/13034642/output_file.parquet)
**Note**: *This issue was originally created as [PARQUET-2100](https://issues.apache.org/jira/browse/PARQUET-2100). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
1.12.1を使用してinput_file1.parquetとinput_file2.parquetのマージを再現し、その後output_file.parquetを読み取ってdictionary-pageエラーを確認してください。失敗をPARQUET-2027と比較し、参照されているparquet-cpp record_reader.ccの712行目を調べてください。マージされた出力を、報告された破損なしに読み取れることを確認できれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100