apache / apache/parquet-java

parquet depends on hadoop-lzo, which requires Twitter's Maven repo

Đang mở
#1,977 0 bình luận 1 reaction 0 người được giao Xem trên GitHub
Component: Parquet Priority: Major Type: enhancement
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

I'm trying to add Parquet to my project:

```Java
libraryDependencies += "org.apache.parquet" % "parquet" % "1.8.1"
libraryDependencies += "org.apache.parquet" % "parquet-protobuf" % "1.8.1"
```

But the project appears to depend on hadoop-lzo, which requires adding Twitter's Maven repo as a resolver:
```Java
resolvers += "twitter-repo" at "http://maven.twttr.com"
```

(now sbt resolves and fetches all dependencies)

```Java
# uname -a
Linux pw-246 3.13.0-85-generic #129-Ubuntu SMP Thu Mar 17 20:50:15 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
# lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 14.04.4 LTS
Release: 14.04
Codename: trusty
# sbt sbtVersion
[info] Loading project definition from xxxxx
[info] Set current project to xxxx (in build file:xxxx)
[info] 0.13.11
```

I suggest that Apache host hadoop-lzo along with the main Parquet dependencies.

**Reporter**: [Paul Wais](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=pwais)

**Note**: *This issue was originally created as [PARQUET-652](https://issues.apache.org/jira/browse/PARQUET-652). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Rà soát các khai báo dependency của Parquet và đường dẫn phân giải hadoop-lzo được mô tả trong issue, bắt đầu với dependency graph đã phát hành. Xác nhận hadoop-lzo được lấy từ đâu và liệu nó có thể được lưu trữ cùng với các dependency chính của Parquet hay không; công việc được xem là hoàn tất khi consumer có thể phân giải Parquet mà không cần thêm Maven repository của Twitter.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
build-system
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.