apache / apache/parquet-java

HadoopStreams to support ByteBufferPositionedReadable input streams

Ouverte
#3,080 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
Type: enhancement
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

### Describe the enhancement requested

If a stream declares in its StreamCapabilities that it supports
ByteBufferPositionedReadable, then use it for `readFully(ByteBuffer)`
All streams in Hadoop 3.0.0 + do declare this.

+ use StreamCapabilities to look for `ByteBufferReadable`.

For detecting ByteBufferReadable, use this probe falling back to the recursive scan.
All streams in the hadoop codebase will report this via StreamCapabilities, but there
may be some third-party streams which do not.

### Component(s)

_No response_

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par l’implémentation de HadoopStreams et suivez readFully(ByteBuffer), puis examinez comment StreamCapabilities et l’analyse récursive existante sont utilisés pour détecter les streams lisibles. Le travail est terminé lorsque les streams annonçant ByteBufferPositionedReadable utilisent cette capacité pour readFully(ByteBuffer), tandis que les streams tiers continuent de revenir à l’analyse récursive.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data
Type d'issue
Fonctionnalité
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
48/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.