parquet-hadoop tests to work with hadoop 3.4.0
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
Test runs of parquet-hadoop with `-Dhadoop.version=3.4.0` fail because there's a logback jar on the classpath, which screws things up (mostly seemingly because it suddenly logs at debug)
HADOOP-19084 should have fixed this, as it explicitly excludes the export. clearly not. created HADOOP-19153 as a followup.
For now, all parquet needs is to exclude logback as a hadoop-common dependency. I'll be extra cautious and get rid of all log dependencies.
**Reporter**: [Steve Loughran](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=stevel@apache.org) / @steveloughran
#### Related issues:
- [hadoop-common still exports logback as a transitive dependency](https://issues.apache.org/jira/browse/HADOOP-19153) (relates to)
#### PRs and other links:
- [GitHub Pull Request #1321](https://github.com/apache/parquet-mr/pull/1321)
**Note**: *This issue was originally created as [PARQUET-2459](https://issues.apache.org/jira/browse/PARQUET-2459). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu với thiết lập kiểm thử và cấu hình dependency của parquet-hadoop, sau đó chạy các kiểm thử với -Dhadoop.version=3.4.0 để tái hiện vấn đề classpath. Kiểm tra rằng dependency Hadoop không còn đưa các logging jar không mong muốn vào classpath kiểm thử và rằng các kiểm thử đều thành công; HADOOP-19153 và pull request #1321 cung cấp bối cảnh cho công việc đang được tiến hành.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- build-system, testing-qa
- Loại issue
- Lỗi
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức phù hợp với người mới
- 20/100