apache / apache/datafusion

Support Configuring arrow_ipc::FileWriter via ArrowWriterOptions

Offen
#8,635 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Rust
Sterne
9.3k
Forks
2.4k
Ø Merge
3 T. 11 Std.
Gemergte PRs (30 T.)
360

Beschreibung

### Is your feature request related to a problem or challenge?

ArrowWriterOptions is already a variant of FileTypeWriterOptions, but it does not yet contain any configurable options. Now that we support writing out arrow files #8608 we should add support for the options that arrow_ipc::FileWriter supports.

### Describe the solution you'd like

Update ArrowWriterOptions to parse options and pass through to arrow_ipc::FileWriter.

### Describe alternatives you've considered

We could also add session level configuration options, as we have for parquet.

### Additional context

_No response_

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit ArrowWriterOptions und der vorhandenen arrow_ipc::FileWriter-API; das Issue nennt keine bestimmten Dateien oder Tests. Verfolge, wie FileTypeWriterOptions geparst und an Writer übergeben werden, und überprüfe anschließend, ob ArrowWriterOptions die unterstützten FileWriter-Optionen konfigurieren kann und ob diese Optionen arrow_ipc::FileWriter erreichen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
rust
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.