apache / apache/parquet-java

parquet-cli rewrite option

Abierto
#2,981 1 comentario 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

### Describe the usage question you have. Please include as many useful details as possible.

Hi ,

is it possible to read directly from a gcs bucket to prune a column
like rewrite -i gs:/sourcebbucket/part-00549.parquet -o gs://targetbucket/newdata/dd --prune-columns col4

i am getting error
java.lang.RuntimeException: org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "gs"

### Component(s)

_No response_

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza con el comando rewrite de parquet-cli y reproduce el fallo notificado con la entrada y la salida gs://. Traza cómo rewrite resuelve los esquemas de sistema de archivos y, después, revisa la configuración del sistema de archivos de Hadoop utilizada por el CLI. Se considera terminado cuando el flujo de trabajo solicitado de GCS prune-columns está admitido o su limitación está claramente documentada, y el comportamiento del error está cubierto por una prueba si el proyecto proporciona una.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
google-cloud, java
Área
cli, cloud
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.