ParquetWriter/ParquetReader should parse options directly from supplied Configuration
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
As a Parquet user, my expectation is that ParquetWriter/ParquetReader will automatically parse any options passed in the supplied Configuration. For example:
```
Configuration conf = new Configuration();
conf.setBoolean(ParquetOutputFormat.BLOOM_FILTER_ENABLED, true);
ParquetWriter writer = AvroParquetWriter.builder(path)
.withSchema(Car.SCHEMA$)
.withConf(conf)
.build();
```
However, the above code results in a ParquetWriter where `bloomFilterEnabled` is set to false-the expected way to configure this is to use `ParquetWriter#withBloomFilterEnabled` directly.
IMO, when `ParquetWriter#withConf` is invoked, it should also delegate to `encodingPropsBuilder` and set any Configured properties.
**Reporter**: [Claire McGinty](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=clairemcginty) / @clairemcginty
#### PRs and other links:
- [GitHub Pull Request #1157](https://github.com/apache/parquet-mr/pull/1157)
**Note**: *This issue was originally created as [PARQUET-2351](https://issues.apache.org/jira/browse/PARQUET-2351). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza con ParquetWriter y ParquetReader, centrándote en withConf y en la opción de configuración mencionada en el ejemplo, ParquetOutputFormat.BLOOM_FILTER_ENABLED. Revisa GitHub Pull Request #1157 y verifica que se respeten los valores de Configuration proporcionados, en lugar de requerir opciones directas del builder.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Error
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 25/100