apache / apache/arrow-java

[Java][Docs] Document the use of the batchSize argument in Dataset ScanOptions

Offen
#303 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Type: enhancement
Vorherrschende Sprache
Java
Sterne
94
Forks
152
Ø Merge
3 T. 16 Std.
Gemergte PRs (30 T.)
11

Beschreibung

Several ScanOptions methods take a batchSize argument as shown: 

`public ScanOptions(long batchSize) {`
`    this(batchSize, Optional.empty());`
``}

Since the scanner reads one ArrowRecordBatch per load invocation, setting the parameter to a size larger than the RecordBatch has no effect. It only works when it's smaller than the number of rows in the RecordBatch, (i.e., the number or records read is equal to min(batchSize, recordBatch rowCount), potentially leading to some confusion. 

**Reporter**: [Larry White](https://issues.apache.org/jira/browse/ARROW-17346) / @lwhite1

**Note**: *This issue was originally created as [ARROW-17346](https://issues.apache.org/jira/browse/ARROW-17346). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit den Dataset ScanOptions-Methoden, die batchSize akzeptieren, und verfolge, wie der Scanner pro Aufruf einen ArrowRecordBatch lädt. Dokumentiere, dass Werte, die größer als die Zeilenanzahl des RecordBatch sind, keinen zusätzlichen Effekt haben, während kleinere Werte die Anzahl der Datensätze auf min(batchSize, recordBatch rowCount) begrenzen; abgeschlossen ist die Aufgabe, wenn die ScanOptions-Dokumentation dieses Verhalten klar macht.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
documentation
Issue-Typ
Dokumentation
Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
48/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.