AvroReadSupport.setRequestedProjection in 1.11.1+ not backwards compatible with MAPS
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
using AvroReadSupport.setRequestedProjection in 1.11.1 reading a 1.10.0 generated parquet file sets MAP fields to null (and vice versa 1.10.0 reader against a 1.11.1 generated file)
- Not using a projected schema works, the map fields are converted correctly.
In my case. Parquet file is generated by hive
```java
CREATE TABLE parquetmaptest (
a string,
b MAP
)
STORED AS PARQUET
tblproperties(
"parquet.compression"="SNAPPY"
);
insert into parquetmaptest select "a",map("k1","v1","k2","v2");
```
Using parquet-avro 1.11.1 (and appropriate dependencies) result in field "b" being null.
```java
data:null
row:{"a": "a", "b": null}
```
Using parquet-avro 1.11.0 (and appropriate dependencies) result in field "b" being the right map value.
```java
data:{k1=v1, k2=v2}
row:{"a": "a", "b": {"k1": "v1", "k2": "v2"}}
```
**Reporter**: [Bil Bingham](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=bilbingham)
#### Original Issue Attachments:
- [PQMapTest.java](https://issues.apache.org/jira/secure/attachment/13024749/PQMapTest.java)
**Note**: *This issue was originally created as [PARQUET-2039](https://issues.apache.org/jira/browse/PARQUET-2039). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne mit der angehängten PQMapTest.java und dem Pfad AvroReadSupport.setRequestedProjection und vergleiche parquet-avro 1.11.1 mit 1.10.0 anhand der von Hive erzeugten MAP-Datei. Reproduziere zuerst den Fehler beim Lesen mit Projektion; fertig ist es, wenn projizierte Map-Felder weiterhin befüllt bleiben, wenn Dateien und Reader jeweils eine der beiden Versionen verwenden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100