apache / apache/datafusion

Question: does datafusion-cli being tested on all files in apache/parquet-testing?

Offen
#17,828 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Rust
Sterne
9.3k
Forks
2.4k
Ø Merge
3 T. 11 Std.
Gemergte PRs (30 T.)
360

Beschreibung

I found a parquet file that datafusion-cli failed to read and opened a bug in:
- https://github.com/apache/arrow-rs/issues/8495

and added the file in:
- https://github.com/apache/parquet-testing/pull/96

I can't find it but does the CI run basic sanity on all the files in https://github.com/apache/parquet-testing data directory (https://github.com/apache/parquet-testing/tree/a3d96a65e11e2bbca7d22a894e8313ede90a33a3/data)

like simple:
```bash
find parquet-testing/data/ -name "*.parquet" -type f | while read file; do
echo "Processing: $file"
datafusion-cli --command "select * from '$file'"
done
```

for sanity test

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, die bestehenden CI- und datafusion-cli-Einstiegspunkte auf jegliche Verwendung des apache/parquet-testing-Datenverzeichnisses zu prüfen. Vergleiche die aktuelle Abdeckung mit der vorgeschlagenen find-Schleife und ermittle, ob ein Sanity-Lauf über alle .parquet-Dateien praktikabel ist. Erledigt ist die Aufgabe, wenn das CI-Verhalten und die Fehlerberichterstattung ausdrücklich festgelegt sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
rust
Bereich
cli, testing
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.