[Java] Arrow native reader load next batch importing vector from c causing performance degrade
未关闭
- 主要语言
- Java
- 星标
- 94
- 派生
- 152
- 平均合并
- 3 天 16 小时
- 30 天内合并 PR
- 11
描述
### Describe the bug, including details regarding any error messages, version, and platform.
it seems the native reader is first read the data into c vector, then import it into java format, causing significant performance degrade.
I wonder if it is possible to read directly from c vector ?
### Component(s)
Java
贡献指南
调研方向
从 Java Arrow native reader 的 load-next-batch 路径以及报告的性能下降开始。对当前从 C vector 导入 Java 的过程进行性能分析,并确定直接读取是否可行;只有在不改变 reader 结果的情况下实现经测量的改进,才算完成。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- java
- 领域
- performance
- Issue 类型
- 缺陷
- 难度
- 5/5
- 预计耗时
- 一周以上
- 活跃度
- 停滞
- 描述清晰度
- 需要澄清
- 新手友好度
- 30/100