apache / apache/parquet-java

HadoopStreams to support ByteBufferPositionedReadable input streams

オープン
#3,080 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
Type: enhancement
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

### Describe the enhancement requested

If a stream declares in its StreamCapabilities that it supports
ByteBufferPositionedReadable, then use it for `readFully(ByteBuffer)`
All streams in Hadoop 3.0.0 + do declare this.

+ use StreamCapabilities to look for `ByteBufferReadable`.

For detecting ByteBufferReadable, use this probe falling back to the recursive scan.
All streams in the hadoop codebase will report this via StreamCapabilities, but there
may be some third-party streams which do not.

### Component(s)

_No response_

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

HadoopStreams の実装から始めて readFully(ByteBuffer) を追跡し、次に、読み取り可能なストリームを検出するために StreamCapabilities と既存の再帰的スキャンがどのように使われているかを確認します。ByteBufferPositionedReadable を示すストリームが readFully(ByteBuffer) にこの機能を使用し、サードパーティ製のストリームは引き続き再帰的スキャンにフォールバックすれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data
issue の種類
機能追加
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
48/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。