[Java] Integrating `variadicBufferCounts` to `RecordBatch` in Java
- Lenguaje dominante
- Java
- Estrellas
- 94
- Forks
- 152
- Merge medio
- 3 d 16 h
- PR fusionados (30 d)
- 11
Descripción
### Describe the enhancement requested
Once the `Utf8View` and `BinaryView` have been introduced, we have added a new attribute to the `RecordBatch` [spec](https://github.com/apache/arrow/blob/main/format/Message.fbs#L117). Once this change is integrated, we need to update the existing interfaces which uses this and related modules which use those interfaces. To introduce this change, it would be better to include this by introducing them component wise so that it can be tested in a streamlined manner.
Following are list of modules and their classes which are related with the changes done to update the `RecordBatch` specification.
### Vector
- [ ] `JsonFileReader`
- [ ] `JsonFileWriter`
- [ ] `ArrowReader`
- [X] `TestValueVector`
- [X] `TestVarcharViewVector`
- [ ] `TestVectorUnloadLoad`
- [ ] `TestArrowReaderWriter`
- [ ] `TestRoundtrip`
- [ ] `TestJsonFile`
- [ ] `ArrowRecordBatchBenchmarks`
- [ ] `MessageSerializerTest`
- [ ] `ArrowDictionaryBatch`
- [ ] `ArrowStreamReader`
- [ ] `TestValidateVector`
### Performance
- [ ] `VectorLoaderBenchmark`
- [ ] `VectorUnloaderBenchmarks`
### C
- [ ] `RoundtripTest`
- [ ] `StreamTest`
### Dataset
- [ ] `TestDataset`
- [ ] `TestFileSystemDataset`
- [ ] `ArrowScannerReader`
- [ ] `NativeScanner`
### Flight
- [ ] `TestFlightClient`
- [ ] `TestDoExchange`
- [ ] `IntegrationTestClient`
- [ ] `FlightStream`
- [ ] `IntegrationProducer`
- [ ] `ExpirationTimeDoGetScenario`
- [ ] `VectorSchemaRootTransformerTest`
- [ ] `FlightSQLExample`
- [ ] `TestBasicOperation`
### Compression
- [ ] `TestCompressionCodec`
### Gandiva
- [ ] `ProjectorTest`
- [ ] `ProjectorDecimalTest`
- [ ] `FilterTest`
- [ ] `FilterProjectTest`
- [ ] `BaseEvaluatorTest`
### Component(s)
Java
Guía de contribución
Línea de trabajo
Comienza con la especificación de RecordBatch y las interfaces Java existentes afectadas por variadicBufferCounts, y después trabaja componente por componente en las clases unchecked Vector, Performance, C, Dataset, Flight, Compression y Gandiva. Usa como contexto el trabajo realizado en TestValueVector y TestVarcharViewVector, que sí están checked. Se considera terminado cuando los módulos enumerados se hayan actualizado de forma coherente y sus pruebas relevantes pasen.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 20/100