apache / apache/parquet-java

parquet-cli rewrite option

Ouverte
#2,981 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

### Describe the usage question you have. Please include as many useful details as possible.

Hi ,

is it possible to read directly from a gcs bucket to prune a column
like rewrite -i gs:/sourcebbucket/part-00549.parquet -o gs://targetbucket/newdata/dd --prune-columns col4

i am getting error
java.lang.RuntimeException: org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "gs"

### Component(s)

_No response_

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par la commande rewrite de parquet-cli et reproduisez l’échec signalé avec une entrée et une sortie gs://. Suivez la manière dont rewrite résout les schémas de système de fichiers, puis vérifiez la configuration du système de fichiers Hadoop utilisée par le CLI. Le travail est terminé lorsque le workflow GCS prune-columns demandé est pris en charge ou que sa limitation est clairement documentée, et que le comportement de l’erreur est couvert par un test si le projet en fournit un.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
google-cloud, java
Domaine
cli, cloud
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.