apache / apache/parquet-java

Schema creation from another schema will not be possible - deprecated

Offen
#2,351 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Major Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

Imagine I have a current schema and want to create a projection schema from that. One option is the schema.Types.\*Builder but the more direct version would be to clone the schema itself without children.

`List l = new ArrayList<>();`
` for (String c : childmappings.keySet()) {`
`  Mapping m = childmappings.get(c);`
`  l.add(m.getProjectionSchema());`
` `}
` GroupType gt = new GroupType(schema.getRepetition(), schema.getName(), schema.getOriginalType(), l);`

 

The last line, the new GroupType(..) constructor is deprecated. We should use the version with the LogicalTypeAnnotation instead. Fine. But how do you get the LogicalTypeAnnotation  from an existing schema?

I feel you should not deprecate these methods and if, provide an extra method to create a Type column from a type column (column alone, without children. Else the projection would have all child columns).

 

Do you agree?

 

**Reporter**: [Werner Daehn](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=wdaehn) / @wernerdaehn

**Note**: *This issue was originally created as [PARQUET-1620](https://issues.apache.org/jira/browse/PARQUET-1620). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, die Überladungen des GroupType-Konstruktors sowie die im Issue referenzierten APIs von schema.Types.*Builder und LogicalTypeAnnotation zu lesen. Prüfe die verlinkte Migrationsdokumentation und die bestehende Verwendung von Projektionsschemas, um die unterstützte Richtung zu bestimmen. Erledigt ist die Aufgabe, wenn das Deprecation-Problem und die Erstellung eines Schematyps ohne untergeordnete Elemente behoben oder eindeutig dokumentiert sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.