ParquetMetadataConverter should never log at level WARN
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
### Describe the bug, including details regarding any error messages, version, and platform.
When ParquetMetadataConverter encounters a mismatch between logical and converted type, it logs a message at level WARN. https://github.com/apache/parquet-java/blob/eed26b4ea96881cc543b4233cdddece5d1d608d7/parquet-hadoop/src/main/java/org/apache/parquet/format/converter/ParquetMetadataConverter.java#L1864
This behavior does not make sense because one of two things must be true:
1. This is an issue that can affect normal operation and the application needs to (potentially) respond to it
2. This is not a concern for the calling application and it won't impact normal operation
If item 1 is true, then an exception should be thrown and the application choose to respond or not (possibly by logging). If item item 2 is true, then the log message should either be omitted entirely or be logged at level DEBUG (INFO level would still be too spammy)
I would be happy to submit a patch if there is consensus about which approach to take. Perhaps there should be a flag to control whether the exception should be thrown to avoid breaking existing code.
### Component(s)
_No response_
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách đọc parquet-hadoop/src/main/java/org/apache/parquet/format/converter/ParquetMetadataConverter.java tại dòng được tham chiếu và kiểm tra hành vi chuyển đổi metadata ở phần xung quanh. Kiểm tra các test liên quan của Converter và các quy ước logging, sau đó xác nhận với các Maintainers xem warning nên được gỡ bỏ, hạ cấp hay thay thế bằng một Exception. Công việc được xem là hoàn tất khi hành vi đã thống nhất được triển khai mà không có thay đổi compatibility ngoài dự kiến và được bao phủ bởi một regression test phù hợp.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 35/100