parquet-cli rewrite option
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
### Describe the usage question you have. Please include as many useful details as possible.
Hi ,
is it possible to read directly from a gcs bucket to prune a column
like rewrite -i gs:/sourcebbucket/part-00549.parquet -o gs://targetbucket/newdata/dd --prune-columns col4
i am getting error
java.lang.RuntimeException: org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "gs"
### Component(s)
_No response_
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par la commande rewrite de parquet-cli et reproduisez l’échec signalé avec une entrée et une sortie gs://. Suivez la manière dont rewrite résout les schémas de système de fichiers, puis vérifiez la configuration du système de fichiers Hadoop utilisée par le CLI. Le travail est terminé lorsque le workflow GCS prune-columns demandé est pris en charge ou que sa limitation est clairement documentée, et que le comportement de l’erreur est couvert par un test si le projet en fournit un.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- google-cloud, java
- Domaine
- cli, cloud
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 35/100