apache / apache/arrow-java

[Java] Investigate potential performance improvement of compression codec

オープン
#388 コメント 13 件 リアクション 0 件 担当者 0 名 GitHub で見る
Type: enhancement
主要言語
Java
スター
94
フォーク
152
平均マージ
3日 16時間
マージ済み PR(30日)
11

説明

In response to the discussion in https://github.com/apache/arrow/pull/8949/files#r588046787

There are some performance penalties in the implementation of the compression codecs (e.g. data copying between heap/off-heap data). We need to revise the code to improve the performance.

We should also provide some benchmarks to validate that the performance actually improves.

**Reporter**: [Liya Fan](https://issues.apache.org/jira/browse/ARROW-11901) / @liyafan82

**Note**: *This issue was originally created as [ARROW-11901](https://issues.apache.org/jira/browse/ARROW-11901). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

圧縮 codec の実装とリンクされた pull request 内の議論から始め、指摘されている heap/off-heap データのコピーに焦点を当てます。関連する codec のベンチマークを追加し、それらを使用して、改訂した実装によってパフォーマンスが向上することを検証します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
performance
issue の種類
リファクタリング
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。