apache / apache/parquet-java

parquet-hadoop tests to work with hadoop 3.4.0

Đang mở
#2,897 2 bình luận 0 reaction 0 người được giao Xem trên GitHub
Component: Hadoop Component: Parquet Priority: Major Type: bug
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

Test runs of parquet-hadoop with `-Dhadoop.version=3.4.0` fail because there's a logback jar on the classpath, which screws things up (mostly seemingly because it suddenly logs at debug)

HADOOP-19084 should have fixed this, as it explicitly excludes the export. clearly not. created HADOOP-19153 as a followup.

For now, all parquet needs is to exclude logback as a hadoop-common dependency. I'll be extra cautious and get rid of all log dependencies.

**Reporter**: [Steve Loughran](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=stevel@apache.org) / @steveloughran
#### Related issues:
- [hadoop-common still exports logback as a transitive dependency](https://issues.apache.org/jira/browse/HADOOP-19153) (relates to)
#### PRs and other links:
- [GitHub Pull Request #1321](https://github.com/apache/parquet-mr/pull/1321)

**Note**: *This issue was originally created as [PARQUET-2459](https://issues.apache.org/jira/browse/PARQUET-2459). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu với thiết lập kiểm thử và cấu hình dependency của parquet-hadoop, sau đó chạy các kiểm thử với -Dhadoop.version=3.4.0 để tái hiện vấn đề classpath. Kiểm tra rằng dependency Hadoop không còn đưa các logging jar không mong muốn vào classpath kiểm thử và rằng các kiểm thử đều thành công; HADOOP-19153 và pull request #1321 cung cấp bối cảnh cho công việc đang được tiến hành.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
build-system, testing-qa
Loại issue
Lỗi
Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Đặc tả rõ ràng
Mức phù hợp với người mới
20/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.