parquet-cli rewrite option
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
### Describe the usage question you have. Please include as many useful details as possible.
Hi ,
is it possible to read directly from a gcs bucket to prune a column
like rewrite -i gs:/sourcebbucket/part-00549.parquet -o gs://targetbucket/newdata/dd --prune-columns col4
i am getting error
java.lang.RuntimeException: org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "gs"
### Component(s)
_No response_
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza con el comando rewrite de parquet-cli y reproduce el fallo notificado con la entrada y la salida gs://. Traza cómo rewrite resuelve los esquemas de sistema de archivos y, después, revisa la configuración del sistema de archivos de Hadoop utilizada por el CLI. Se considera terminado cuando el flujo de trabajo solicitado de GCS prune-columns está admitido o su limitación está claramente documentada, y el comportamiento del error está cubierto por una prueba si el proyecto proporciona una.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- google-cloud, java
- Área
- cli, cloud
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100