apache / apache/parquet-java

Enhance the way path checking is done in ParquetFileWriter.mergeFooters

オープン
#1,631 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
Component: Java Component: Parquet Priority: Minor Type: enhancement
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

To ensure a metadata summary is only written to the same path as the files from which the summary is created, there is a check against the the root path for each footer's file. Only the path is compared, which leaves a possibility that the same path on 2 different types of filesystems (hdfs vs. file for example) could cause some unexpected or erroneous output.

This outcome would be unlikely, but it is not explicitly prevented anywhere which exposes risk to future changes.

**Reporter**: [Chris Albright](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=ChrisAlbright)

**Note**: *This issue was originally created as [PARQUET-125](https://issues.apache.org/jira/browse/PARQUET-125). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

Start by locating ParquetFileWriter.mergeFooters and inspect how each footer's file path is compared with the root path. Confirm the comparison includes the filesystem type as well as the path, and verify that summaries cannot combine files from different filesystem implementations.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data-engineering
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。