Allow user to provide custom filter in ListingTableUrl
- 主要言語
- Rust
- スター
- 9.3k
- フォーク
- 2.4k
- 平均マージ
- 3日 11時間
- マージ済み PR(30日)
- 360
説明
**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
Many object_stores are not as clean as expected. Eg: many have "hidden" files such as _SUCCESS or _temp/blahblah.
When using ListingTableUrl these files are not filtered and cause issues when inferring schema/options.
**Describe the solution you'd like**
ListingTableUrl has an optional glob but it would be more helpful if this was somewhat more generic, eg an optional Fn(&ObjectMeta) -> bool
**Describe alternatives you've considered**
We could implement the filtering at other layers in the application but they all seem to come with drawbacks/feeling awkward (eg: such filtering does not really belong in a wrapper around an object_store).
コントリビューションガイド
調査の方向性
まず ListingTableUrl と既存のオプションの glob フィルタリングを見つけ、次にスキーマとオプションの推論中にオブジェクトメタデータがどのように使用されているかを調べます。オプションのメタデータ述語によって、推論前に隠しファイルなどのエントリを除外でき、フィルタリングの動作をカバーするテストがある状態を完了とします。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- rust
- 領域
- data-engineering
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100