apache / apache/parquet-java

parquet-cli rewrite option

Offen
#2,981 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

### Describe the usage question you have. Please include as many useful details as possible.

Hi ,

is it possible to read directly from a gcs bucket to prune a column
like rewrite -i gs:/sourcebbucket/part-00549.parquet -o gs://targetbucket/newdata/dd --prune-columns col4

i am getting error
java.lang.RuntimeException: org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "gs"

### Component(s)

_No response_

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginnen Sie mit dem parquet-cli rewrite-Befehl und reproduzieren Sie den gemeldeten Fehler bei gs://-Eingabe und -Ausgabe. Verfolgen Sie, wie rewrite Dateisystemschemata auflöst, und prüfen Sie anschließend die vom CLI verwendete Hadoop-Dateisystemkonfiguration. Die Aufgabe ist abgeschlossen, wenn der angeforderte GCS prune-columns-Workflow unterstützt oder seine Einschränkung klar dokumentiert ist und das Fehlerverhalten durch einen Test abgedeckt wird, falls das Projekt einen solchen bereitstellt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
google-cloud, java
Bereich
cli, cloud
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.