apache / apache/parquet-java

Different created_by field values for application and library

Ouverte
#2,646 6 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Minor Type: enhancement
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

There seems to be a discrepancy in the Parquet format created_by field regarding how it should be filled out. The parquet-mr library uses this value to enable/disable features based on the parquet-mr version [here](https://github.com/apache/parquet-mr/blob/5f403501e9de05b6aa48f028191b4e78bb97fb12/parquet-column/src/main/java/org/apache/parquet/CorruptDeltaByteArrays.java#L64-L68). Meanwhile, users are encouraged to make use of the application version [here](https://www.javadoc.io/doc/org.apache.parquet/parquet-format/latest/org/apache/parquet/format/FileMetaData.html). It seems like there are multiple fields needed for an application and library version. 

**Reporter**: [Joshua Howard](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=joshthoward@gmail.com)

**Note**: *This issue was originally created as [PARQUET-2088](https://issues.apache.org/jira/browse/PARQUET-2088). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par la logique liée de parquet-mr CorruptDeltaByteArrays.java et la documentation de FileMetaData.java afin de comprendre comment created_by est actuellement interprété. Déterminez la séparation requise entre les versions de l’application et de la bibliothèque ; pour considérer le travail comme terminé, il faut définir une orientation convenue pour le format/API ainsi que le périmètre correspondant de l’implémentation ou de la documentation.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.