Question: does datafusion-cli being tested on all files in apache/parquet-testing?
- Vorherrschende Sprache
- Rust
- Sterne
- 9.3k
- Forks
- 2.4k
- Ø Merge
- 3 T. 11 Std.
- Gemergte PRs (30 T.)
- 360
Beschreibung
I found a parquet file that datafusion-cli failed to read and opened a bug in:
- https://github.com/apache/arrow-rs/issues/8495
and added the file in:
- https://github.com/apache/parquet-testing/pull/96
I can't find it but does the CI run basic sanity on all the files in https://github.com/apache/parquet-testing data directory (https://github.com/apache/parquet-testing/tree/a3d96a65e11e2bbca7d22a894e8313ede90a33a3/data)
like simple:
```bash
find parquet-testing/data/ -name "*.parquet" -type f | while read file; do
echo "Processing: $file"
datafusion-cli --command "select * from '$file'"
done
```
for sanity test
Beitragsleitfaden
Rechercherichtung
Beginne damit, die bestehenden CI- und datafusion-cli-Einstiegspunkte auf jegliche Verwendung des apache/parquet-testing-Datenverzeichnisses zu prüfen. Vergleiche die aktuelle Abdeckung mit der vorgeschlagenen find-Schleife und ermittle, ob ein Sanity-Lauf über alle .parquet-Dateien praktikabel ist. Erledigt ist die Aufgabe, wenn das CI-Verhalten und die Fehlerberichterstattung ausdrücklich festgelegt sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- rust
- Bereich
- cli, testing
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 35/100