apache / apache/parquet-java

For array type, inconsistent names are used as the array element name.

Ouverte
#1,762 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

When creating a convert for an array, Parquet Avro uses "array" as the field name name ([see here](https://github.com/apache/incubator-parquet-mr/blob/parquet-1.6.0rc7/parquet-avro/src/main/java/parquet/avro/AvroSchemaConverter.java#L131)) , but Parquet Hive SerDe uses "array_element" as the field name [see here](https://github.com/apache/incubator-parquet-mr/blob/parquet-1.6.0rc7/parquet-hive/parquet-hive-storage-handler/src/main/java/org/apache/hadoop/hive/ql/io/parquet/convert/HiveSchemaConverter.java#L109). In Spark SQL, our native Parquet support is following Parquet Avro's convention, for data generated by Parquet Hive SerDe, the array value cannot be correctly read and null will be returned.

**Reporter**: [Yin Huai](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=yhuai)
#### Related issues:
- [Arrays and Maps stored with Hive Parquet Serde may not be able to read by the Parquet support in the Data Souce API](https://issues.apache.org/jira/browse/SPARK-5508) (is related to)

**Note**: *This issue was originally created as [PARQUET-221](https://issues.apache.org/jira/browse/PARQUET-221). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Comparez le nommage des éléments de tableau dans AvroSchemaConverter.java de parquet-avro et HiveSchemaConverter.java de parquet-hive, tels qu'ils sont liés dans l'issue. Reproduisez la lecture de données de tableaux Hive Parquet via la prise en charge native de Parquet par Spark SQL, puis vérifiez que les tableaux ne renvoient plus null tout en préservant la compatibilité avec les fichiers existants.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.