BytesWritable is not in parquet 's writePrimitive method in DataWritableWriter class
- Lingua principale
- Java
- Stelle
- 3.1k
- Fork
- 1.6k
- Merge medio
- 3g 12h
- PR unite (30g)
- 33
Descrizione
I have 2 int fields and 1 string field . To insert it into parquet File I use 2 IntWritable and 1 BinaryWritable object .
For next record i can reuse my 2 IntWritable objects but i have to create a new BinaryWritable object because BinaryWritable do not have set method . This is a bottleneck for me in performance as i am doing new again for every nextrecord .
How do you guys recommend i solve this since BytesWritable is not in parquet 's writePrimitive in DataWritableWriter class . it has ByteWritable and we need BytesWritable
**Reporter**: [Manish Agarwal](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=manish.agarwal)
**Note**: *This issue was originally created as [PARQUET-163](https://issues.apache.org/jira/browse/PARQUET-163). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia leggendo DataWritableWriter.writePrimitive e la gestione di ByteWritable, quindi confrontala con l’uso di BytesWritable e BinaryWritable descritto nell’issue. Verifica se i test esistenti del writer coprono i valori binari writable; il lavoro dovrebbe essere considerato completato quando viene supportato un input BytesWritable riutilizzabile senza creare un nuovo oggetto binario per ogni record.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- data-engineering
- Tipo di issue
- Funzionalità
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100