apache / apache/arrow-java

[Java] Integrating `variadicBufferCounts` to `RecordBatch` in Java

Offen
#86 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Java
Sterne
94
Forks
152
Ø Merge
3 T. 16 Std.
Gemergte PRs (30 T.)
11

Beschreibung

### Describe the enhancement requested

Once the `Utf8View` and `BinaryView` have been introduced, we have added a new attribute to the `RecordBatch` [spec](https://github.com/apache/arrow/blob/main/format/Message.fbs#L117). Once this change is integrated, we need to update the existing interfaces which uses this and related modules which use those interfaces. To introduce this change, it would be better to include this by introducing them component wise so that it can be tested in a streamlined manner.

Following are list of modules and their classes which are related with the changes done to update the `RecordBatch` specification.

### Vector

- [ ] `JsonFileReader`
- [ ] `JsonFileWriter`
- [ ] `ArrowReader`
- [X] `TestValueVector`
- [X] `TestVarcharViewVector`
- [ ] `TestVectorUnloadLoad`
- [ ] `TestArrowReaderWriter`
- [ ] `TestRoundtrip`
- [ ] `TestJsonFile`
- [ ] `ArrowRecordBatchBenchmarks`
- [ ] `MessageSerializerTest`
- [ ] `ArrowDictionaryBatch`
- [ ] `ArrowStreamReader`
- [ ] `TestValidateVector`

### Performance

- [ ] `VectorLoaderBenchmark`
- [ ] `VectorUnloaderBenchmarks`

### C

- [ ] `RoundtripTest`
- [ ] `StreamTest`

### Dataset

- [ ] `TestDataset`
- [ ] `TestFileSystemDataset`
- [ ] `ArrowScannerReader`
- [ ] `NativeScanner`

### Flight

- [ ] `TestFlightClient`
- [ ] `TestDoExchange`
- [ ] `IntegrationTestClient`
- [ ] `FlightStream`
- [ ] `IntegrationProducer`
- [ ] `ExpirationTimeDoGetScenario`
- [ ] `VectorSchemaRootTransformerTest`
- [ ] `FlightSQLExample`
- [ ] `TestBasicOperation`

### Compression

- [ ] `TestCompressionCodec`

### Gandiva

- [ ] `ProjectorTest`
- [ ] `ProjectorDecimalTest`
- [ ] `FilterTest`
- [ ] `FilterProjectTest`
- [ ] `BaseEvaluatorTest`

### Component(s)

Java

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit der RecordBatch-Spezifikation und den vorhandenen Java-Schnittstellen, die von variadicBufferCounts betroffen sind, und arbeite dich dann Komponente für Komponente durch die unchecked Vector-, Performance-, C-, Dataset-, Flight-, Compression- und Gandiva-Klassen. Verwende die Arbeit an den checked TestValueVector- und TestVarcharViewVector-Klassen als Kontext. Als erledigt gilt die Aufgabe, wenn die aufgeführten Module konsistent aktualisiert sind und ihre relevanten Tests bestehen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
20/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.