apache / apache/datafusion

Allow user to provide custom filter in ListingTableUrl

Ouverte
#3,655 0 commentaires 1 réaction 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

enhancement
Langage dominant
Rust
Étoiles
9.3k
Forks
2.4k
Merge moyen
3 j 11 h
PR mergées (30 j)
360

Description

**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
Many object_stores are not as clean as expected. Eg: many have "hidden" files such as _SUCCESS or _temp/blahblah.
When using ListingTableUrl these files are not filtered and cause issues when inferring schema/options.

**Describe the solution you'd like**
ListingTableUrl has an optional glob but it would be more helpful if this was somewhat more generic, eg an optional Fn(&ObjectMeta) -> bool

**Describe alternatives you've considered**
We could implement the filtering at other layers in the application but they all seem to come with drawbacks/feeling awkward (eg: such filtering does not really belong in a wrapper around an object_store).

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par localiser ListingTableUrl et son filtrage glob optionnel existant, puis examinez comment les métadonnées des objets sont utilisées lors de l’inférence du schéma et des options. Le travail est considéré comme terminé lorsqu’un prédicat de métadonnées optionnel peut exclure des entrées telles que des fichiers cachés avant l’inférence, avec des tests couvrant le comportement du filtrage.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
rust
Domaine
data-engineering
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.