apache / apache/datafusion

Introduce the object stores in datafusion-contrib as optional features in the datafusion core

Aperta
#2,072 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Rust
Stelle
9.3k
Fork
2.4k
Merge medio
3g 11h
PR unite (30g)
360

Descrizione

**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**

Currently when we utilize the datafusion core as a library, it's possible to do the remote object store registration manually in the script code. However, for a long running standalone system, like Ballista, there's no place to do the registration manually. And in general, the remote object stores supported will not be changed. Therefore, it's better to provide a mechanism to register some object stores automatically rather than manually do the registration.

**Describe the solution you'd like**

With #2065, the object store extensions will no longer depend on the datafusion core. And now the datafusion core can depend on them. We can set those object stores as optional features in the datafusion core and let users decide whether to introduce them at the compilation time.

And since those extensions are maintained in their own crates, there's not much maintenance effort for the datafusion.

**Describe alternatives you've considered**

**Additional context**

It's blocked by #2076

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia esaminando le modifiche all’estensione object store in #2065 e l’issue bloccante #2076, quindi analizza come datafusion core gestisce attualmente la registrazione degli object store. Il lavoro è completato quando gli object store supportati possono essere abilitati come funzionalità di compilazione opzionali e vengono registrati automaticamente per gli utenti che li abilitano.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
rust
Ambito
backend
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.