ParquetMetadataConverter should never log at level WARN
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
### Describe the bug, including details regarding any error messages, version, and platform.
When ParquetMetadataConverter encounters a mismatch between logical and converted type, it logs a message at level WARN. https://github.com/apache/parquet-java/blob/eed26b4ea96881cc543b4233cdddece5d1d608d7/parquet-hadoop/src/main/java/org/apache/parquet/format/converter/ParquetMetadataConverter.java#L1864
This behavior does not make sense because one of two things must be true:
1. This is an issue that can affect normal operation and the application needs to (potentially) respond to it
2. This is not a concern for the calling application and it won't impact normal operation
If item 1 is true, then an exception should be thrown and the application choose to respond or not (possibly by logging). If item item 2 is true, then the log message should either be omitted entirely or be logged at level DEBUG (INFO level would still be too spammy)
I would be happy to submit a patch if there is consensus about which approach to take. Perhaps there should be a flag to control whether the exception should be thrown to avoid breaking existing code.
### Component(s)
_No response_
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, parquet-hadoop/src/main/java/org/apache/parquet/format/converter/ParquetMetadataConverter.java in der referenzierten Zeile zu lesen, und untersuche das Verhalten der Metadatenkonvertierung im umliegenden Code. Prüfe die relevanten Converter-Tests und Logging-Konventionen und kläre anschließend mit den Maintainers, ob die Warnung entfernt, herabgestuft oder durch eine Exception ersetzt werden sollte. Als erledigt gilt die Aufgabe, wenn das vereinbarte Verhalten ohne unbeabsichtigte Kompatibilitätsänderungen implementiert und durch einen geeigneten Regressionstest abgedeckt ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 35/100