apache / apache/arrow-java

[Java] Investigate potential performance improvement of compression codec

未关闭
#388 13 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
Type: enhancement
主要语言
Java
星标
94
派生
152
平均合并
3 天 16 小时
30 天内合并 PR
11

描述

In response to the discussion in https://github.com/apache/arrow/pull/8949/files#r588046787

There are some performance penalties in the implementation of the compression codecs (e.g. data copying between heap/off-heap data). We need to revise the code to improve the performance.

We should also provide some benchmarks to validate that the performance actually improves.

**Reporter**: [Liya Fan](https://issues.apache.org/jira/browse/ARROW-11901) / @liyafan82

**Note**: *This issue was originally created as [ARROW-11901](https://issues.apache.org/jira/browse/ARROW-11901). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

贡献指南

打开贡献指南

调研方向

从压缩 codec 的实现以及链接的 pull request 中的讨论入手,重点关注其中提到的 heap/off-heap 数据复制。为相关 codec 添加基准测试,并使用这些基准测试来验证任何修订后的实现都能提升性能。

由索引模型根据 Issue 内容生成。

评估

技术栈
java
领域
performance
Issue 类型
重构
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
基本清楚
新手友好度
35/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。