apache / apache/datafusion

[Epic] A collection of Substrait conversion issues

Offen
#16,248 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement EPIC
Vorherrschende Sprache
Rust
Sterne
9.3k
Forks
2.4k
Ø Merge
3 T. 11 Std.
Gemergte PRs (30 T.)
360

Beschreibung

### Is your feature request related to a problem or challenge?

This is a follow up on https://github.com/apache/datafusion/issues/15069. A `--substrait-round-trip` flag was added to the sqllogictest runner, which runs the sqllogictest suite with one additional step: when a DataFusion logical plan is produced, it's converted to Substrait and from Substrait back to DataFusion logical before executing it.

This new sqllogictest execution mode has revealed the following issues:

- https://github.com/apache/datafusion/issues/16271
- https://github.com/apache/datafusion/issues/16272
- https://github.com/apache/datafusion/issues/16273
- https://github.com/apache/datafusion/issues/16274
- https://github.com/apache/datafusion/issues/16275
- https://github.com/apache/datafusion/issues/16276
- https://github.com/apache/datafusion/issues/16278
- https://github.com/apache/datafusion/issues/16279
- https://github.com/apache/datafusion/issues/16280
- https://github.com/apache/datafusion/issues/16281
- https://github.com/apache/datafusion/issues/16282
- https://github.com/apache/datafusion/issues/16283
- https://github.com/apache/datafusion/issues/16285
- https://github.com/apache/datafusion/issues/16287
- https://github.com/apache/datafusion/issues/16293
- https://github.com/apache/datafusion/issues/16294
- https://github.com/apache/datafusion/issues/16295
- https://github.com/apache/datafusion/issues/16296
- https://github.com/apache/datafusion/issues/16297
- https://github.com/apache/datafusion/issues/16298

### Describe the solution you'd like

A fix to the mentioned issues so that the sqllogictest in Substrait round-trip mode can run in the CI

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit dem --substrait-round-trip-Modus im sqllogictest-Runner und lies die verknüpften untergeordneten Issues, um einen einzelnen Konvertierungsfehler zu identifizieren. Als erledigt gilt, wenn die aufgelisteten Substrait-Round-Trip-Fälle bestehen und dieser Modus in CI ausgeführt werden kann.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
rust, sql
Bereich
backend, testing
Issue-Typ
Bug
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
15/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.