apache / apache/parquet-java

ParquetMetadataConverter should never log at level WARN

Ouverte
#3,025 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Type: bug
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

### Describe the bug, including details regarding any error messages, version, and platform.

When ParquetMetadataConverter encounters a mismatch between logical and converted type, it logs a message at level WARN. https://github.com/apache/parquet-java/blob/eed26b4ea96881cc543b4233cdddece5d1d608d7/parquet-hadoop/src/main/java/org/apache/parquet/format/converter/ParquetMetadataConverter.java#L1864

This behavior does not make sense because one of two things must be true:

1. This is an issue that can affect normal operation and the application needs to (potentially) respond to it
2. This is not a concern for the calling application and it won't impact normal operation

If item 1 is true, then an exception should be thrown and the application choose to respond or not (possibly by logging). If item item 2 is true, then the log message should either be omitted entirely or be logged at level DEBUG (INFO level would still be too spammy)

I would be happy to submit a patch if there is consensus about which approach to take. Perhaps there should be a flag to control whether the exception should be thrown to avoid breaking existing code.

### Component(s)

_No response_

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par lire parquet-hadoop/src/main/java/org/apache/parquet/format/converter/ParquetMetadataConverter.java à la ligne indiquée et examinez le comportement de conversion des métadonnées aux alentours. Vérifiez les tests pertinents de Converter et les conventions de logging, puis confirmez avec les Maintainers si l’avertissement doit être supprimé, rétrogradé ou remplacé par une Exception. La tâche est terminée lorsque le comportement convenu est implémenté sans changements de compatibilité involontaires et couvert par un test de régression approprié.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.