apache / apache/parquet-java

BytesWritable is not in parquet 's writePrimitive method in DataWritableWriter class

Ouverte
#1,715 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
Component: Parquet Priority: Major Type: bug
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

I have 2 int fields and 1 string field . To insert it into parquet File I use 2 IntWritable and 1 BinaryWritable object .

For next record i can reuse my 2 IntWritable objects but i have to create a new BinaryWritable object because BinaryWritable do not have set method . This is a bottleneck for me in performance as i am doing new again for every nextrecord .

How do you guys recommend i solve this since BytesWritable is not in parquet 's writePrimitive in DataWritableWriter class . it has ByteWritable and we need BytesWritable

**Reporter**: [Manish Agarwal](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=manish.agarwal)

**Note**: *This issue was originally created as [PARQUET-163](https://issues.apache.org/jira/browse/PARQUET-163). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par lire DataWritableWriter.writePrimitive et son traitement de ByteWritable, puis comparez-le à l’utilisation de BytesWritable et BinaryWritable décrite dans l’issue. Vérifiez si les tests existants du writer couvrent les valeurs binaires writable ; le travail doit être considéré comme terminé lorsqu’une entrée BytesWritable réutilisable est prise en charge sans créer un nouvel objet binaire pour chaque enregistrement.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Fonctionnalité
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.