Allow user to provide custom filter in ListingTableUrl
- Vorherrschende Sprache
- Rust
- Sterne
- 9.3k
- Forks
- 2.4k
- Ø Merge
- 3 T. 11 Std.
- Gemergte PRs (30 T.)
- 362
Beschreibung
**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
Many object_stores are not as clean as expected. Eg: many have "hidden" files such as _SUCCESS or _temp/blahblah.
When using ListingTableUrl these files are not filtered and cause issues when inferring schema/options.
**Describe the solution you'd like**
ListingTableUrl has an optional glob but it would be more helpful if this was somewhat more generic, eg an optional Fn(&ObjectMeta) -> bool
**Describe alternatives you've considered**
We could implement the filtering at other layers in the application but they all seem to come with drawbacks/feeling awkward (eg: such filtering does not really belong in a wrapper around an object_store).
Beitragsleitfaden
Rechercherichtung
Beginne damit, ListingTableUrl und die bestehende optionale Glob-Filterung zu finden, und untersuche anschließend, wie Objektmetadaten während der Schema- und Optionsinferenz verwendet werden. Erledigt ist die Aufgabe, wenn ein optionales Metadatenprädikat Einträge wie versteckte Dateien vor der Inferenz ausschließen kann und Tests das Filterverhalten abdecken.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- rust
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100