BytesWritable is not in parquet 's writePrimitive method in DataWritableWriter class
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
I have 2 int fields and 1 string field . To insert it into parquet File I use 2 IntWritable and 1 BinaryWritable object .
For next record i can reuse my 2 IntWritable objects but i have to create a new BinaryWritable object because BinaryWritable do not have set method . This is a bottleneck for me in performance as i am doing new again for every nextrecord .
How do you guys recommend i solve this since BytesWritable is not in parquet 's writePrimitive in DataWritableWriter class . it has ByteWritable and we need BytesWritable
**Reporter**: [Manish Agarwal](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=manish.agarwal)
**Note**: *This issue was originally created as [PARQUET-163](https://issues.apache.org/jira/browse/PARQUET-163). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne mit dem Lesen von DataWritableWriter.writePrimitive und seiner Behandlung von ByteWritable und vergleiche dies dann mit der im Issue beschriebenen Verwendung von BytesWritable und BinaryWritable. Prüfe, ob bestehende Writer-Tests beschreibbare Binärwerte abdecken; als abgeschlossen sollte gelten, dass wiederverwendbare BytesWritable-Eingaben unterstützt werden, ohne für jeden Datensatz ein neues Binärobjekt zu erstellen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100