apache / apache/parquet-java

parquet depends on hadoop-lzo, which requires Twitter's Maven repo

Offen
#1,977 0 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
Component: Parquet Priority: Major Type: enhancement
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

I'm trying to add Parquet to my project:

```Java
libraryDependencies += "org.apache.parquet" % "parquet" % "1.8.1"
libraryDependencies += "org.apache.parquet" % "parquet-protobuf" % "1.8.1"
```

But the project appears to depend on hadoop-lzo, which requires adding Twitter's Maven repo as a resolver:
```Java
resolvers += "twitter-repo" at "http://maven.twttr.com"
```

(now sbt resolves and fetches all dependencies)

```Java
# uname -a
Linux pw-246 3.13.0-85-generic #129-Ubuntu SMP Thu Mar 17 20:50:15 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
# lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 14.04.4 LTS
Release: 14.04
Codename: trusty
# sbt sbtVersion
[info] Loading project definition from xxxxx
[info] Set current project to xxxx (in build file:xxxx)
[info] 0.13.11
```

I suggest that Apache host hadoop-lzo along with the main Parquet dependencies.

**Reporter**: [Paul Wais](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=pwais)

**Note**: *This issue was originally created as [PARQUET-652](https://issues.apache.org/jira/browse/PARQUET-652). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Prüfe die Parquet-Abhängigkeitsdeklarationen und den im Issue beschriebenen hadoop-lzo-Auflösungspfad, beginnend mit dem veröffentlichten Abhängigkeitsgraphen. Bestätige, woher hadoop-lzo bezogen wird und ob es zusammen mit den hauptsächlichen Parquet-Abhängigkeiten gehostet werden kann; als abgeschlossen gilt die Aufgabe, wenn Verbraucher Parquet auflösen können, ohne das Maven-Repository von Twitter hinzuzufügen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
build-system
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.