apache / apache/arrow-java

[Java] Fix splitAndTransfer for variable width vector

オープン
#419 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
Type: bug
主要言語
Java
スター
94
フォーク
152
平均マージ
3日 16時間
マージ済み PR(30日)
11

説明

When we splitAndTransfer a vector, the value count to set for the target vector should be equal to split length and not the value count of source vector. 

We have seen cases in operator slike FLATTEN and under low memory conditions, we end up allocating a lot more memory for the target vector because of using a large value in setValueCount after split and transfer is done.

**Reporter**: [Siddharth Teotia](https://issues.apache.org/jira/browse/ARROW-2294) / @siddharthteotia

**Note**: *This issue was originally created as [ARROW-2294](https://issues.apache.org/jira/browse/ARROW-2294). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

Java 実装で splitAndTransfer と可変幅ベクトルクラスを検索し、FLATTEN がその操作をどのように呼び出しているかを追跡します。転送後のターゲットベクトルの値の数が split の長さと一致することを確認し、関連する既存のテストを確認するか、割り当てが削減されるケースのカバレッジを追加します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
42/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。