parquet-cli rewrite option
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
### Describe the usage question you have. Please include as many useful details as possible.
Hi ,
is it possible to read directly from a gcs bucket to prune a column
like rewrite -i gs:/sourcebbucket/part-00549.parquet -o gs://targetbucket/newdata/dd --prune-columns col4
i am getting error
java.lang.RuntimeException: org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "gs"
### Component(s)
_No response_
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginnen Sie mit dem parquet-cli rewrite-Befehl und reproduzieren Sie den gemeldeten Fehler bei gs://-Eingabe und -Ausgabe. Verfolgen Sie, wie rewrite Dateisystemschemata auflöst, und prüfen Sie anschließend die vom CLI verwendete Hadoop-Dateisystemkonfiguration. Die Aufgabe ist abgeschlossen, wenn der angeforderte GCS prune-columns-Workflow unterstützt oder seine Einschränkung klar dokumentiert ist und das Fehlerverhalten durch einen Test abgedeckt wird, falls das Projekt einen solchen bereitstellt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- google-cloud, java
- Bereich
- cli, cloud
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100