apache / apache/arrow-java

[Java] offset buffer for vector of variable-width type with zero value count is empty

Offen
#273 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Type: bug
Vorherrschende Sprache
Java
Sterne
94
Forks
152
Ø Merge
3 T. 16 Std.
Gemergte PRs (30 T.)
11

Beschreibung

I am reporting what I think might be two related bugs in `org.apache.arrow.vector.BaseVariableWidthVector`
1. The offset buffer is initialized as empty. I expect that it to have 4 bytes that represent the integer zero.
1. The `getBufferSize` method returns 0 when value count is zero, instead of 4.

Compare to the pyarrow implementation, which I believe correctly populates the offset buffer:
```java

>>> import pyarrow as pa
>>> array = pa.array([], type=pa.binary())
>>> array
[]
>>> print([b.hex().decode() for b in array.buffers()])
['', '00000000', '']

```
 

**Reporter**: [Steve M. Kim](https://issues.apache.org/jira/browse/ARROW-7342)

**Note**: *This issue was originally created as [ARROW-7342](https://issues.apache.org/jira/browse/ARROW-7342). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit org.apache.arrow.vector.BaseVariableWidthVector und konzentriere dich auf die Initialisierung des Offset-Puffers sowie auf getBufferSize, wenn die Anzahl der Werte null ist. Vergleiche das Java-Verhalten mit dem im Bericht gezeigten leeren pyarrow-Binärarray; abgeschlossen ist die Untersuchung, wenn der Fall mit null Werten den erwarteten Vier-Byte-Offset mit dem Wert null offenlegt und die entsprechende Puffergröße meldet.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Klar beschrieben
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.