Continue to break datafusion crate into smaller crates
- Vorherrschende Sprache
- Rust
- Sterne
- 9.3k
- Forks
- 2.4k
- Ø Merge
- 3 T. 11 Std.
- Gemergte PRs (30 T.)
- 360
Beschreibung
**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
Quoting @Jimexist on https://github.com/apache/arrow-datafusion/issues/1750
> It helps with code management and dependency reasoning
Also I have heard annecdotal reports that compiling datafusion takes too long / too much memory to compile which is sad.
**Describe the solution you'd like**
- [ ] #5405
- [ ] Split out file_formats (maybe parquet gets its own?)
- [x] https://github.com/apache/arrow-datafusion/issues/1754
**Describe alternatives you've considered**
Leave as is
**Additional context**
First part of split was in https://github.com/apache/arrow-datafusion/issues/1750, driven by @Jimexist ❤️
Beitragsleitfaden
Rechercherichtung
Beginnen Sie mit der Durchsicht des referenzierten Issues #5405 und der vorherigen Aufteilung in Issue #1754. Untersuchen Sie anschließend, wie der verbleibende Code in file_formats organisiert ist. Als erledigt gilt die Einigung auf und Implementierung der verbleibenden Crate-Grenzen, einschließlich der Frage, ob Parquet eine eigene Crate erhalten sollte, wobei gleichzeitig die genannten Bedenken zur Codeverwaltung und Kompilierung berücksichtigt werden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- rust
- Bereich
- build-system, developer-experience
- Issue-Typ
- Refactoring
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100