[Java][Docs] Document the use of the batchSize argument in Dataset ScanOptions
- Vorherrschende Sprache
- Java
- Sterne
- 94
- Forks
- 152
- Ø Merge
- 3 T. 16 Std.
- Gemergte PRs (30 T.)
- 11
Beschreibung
Several ScanOptions methods take a batchSize argument as shown:
`public ScanOptions(long batchSize) {`
` this(batchSize, Optional.empty());`
``}
Since the scanner reads one ArrowRecordBatch per load invocation, setting the parameter to a size larger than the RecordBatch has no effect. It only works when it's smaller than the number of rows in the RecordBatch, (i.e., the number or records read is equal to min(batchSize, recordBatch rowCount), potentially leading to some confusion.
**Reporter**: [Larry White](https://issues.apache.org/jira/browse/ARROW-17346) / @lwhite1
**Note**: *This issue was originally created as [ARROW-17346](https://issues.apache.org/jira/browse/ARROW-17346). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*
Beitragsleitfaden
Rechercherichtung
Beginne mit den Dataset ScanOptions-Methoden, die batchSize akzeptieren, und verfolge, wie der Scanner pro Aufruf einen ArrowRecordBatch lädt. Dokumentiere, dass Werte, die größer als die Zeilenanzahl des RecordBatch sind, keinen zusätzlichen Effekt haben, während kleinere Werte die Anzahl der Datensätze auf min(batchSize, recordBatch rowCount) begrenzen; abgeschlossen ist die Aufgabe, wenn die ScanOptions-Dokumentation dieses Verhalten klar macht.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- documentation
- Issue-Typ
- Dokumentation
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 48/100