apache / apache/datafusion

Allow user to provide custom filter in ListingTableUrl

オープン
#3,655 コメント 0 件 リアクション 1 件 担当者 0 名 GitHub で見る
enhancement
主要言語
Rust
スター
9.3k
フォーク
2.4k
平均マージ
3日 11時間
マージ済み PR(30日)
360

説明

**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
Many object_stores are not as clean as expected. Eg: many have "hidden" files such as _SUCCESS or _temp/blahblah.
When using ListingTableUrl these files are not filtered and cause issues when inferring schema/options.

**Describe the solution you'd like**
ListingTableUrl has an optional glob but it would be more helpful if this was somewhat more generic, eg an optional Fn(&ObjectMeta) -> bool

**Describe alternatives you've considered**
We could implement the filtering at other layers in the application but they all seem to come with drawbacks/feeling awkward (eg: such filtering does not really belong in a wrapper around an object_store).

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず ListingTableUrl と既存のオプションの glob フィルタリングを見つけ、次にスキーマとオプションの推論中にオブジェクトメタデータがどのように使用されているかを調べます。オプションのメタデータ述語によって、推論前に隠しファイルなどのエントリを除外でき、フィルタリングの動作をカバーするテストがある状態を完了とします。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
rust
領域
data-engineering
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。