[Java] Integrating `variadicBufferCounts` to `RecordBatch` in Java
- 主要言語
- Java
- スター
- 94
- フォーク
- 152
- 平均マージ
- 3日 16時間
- マージ済み PR(30日)
- 11
説明
### Describe the enhancement requested
Once the `Utf8View` and `BinaryView` have been introduced, we have added a new attribute to the `RecordBatch` [spec](https://github.com/apache/arrow/blob/main/format/Message.fbs#L117). Once this change is integrated, we need to update the existing interfaces which uses this and related modules which use those interfaces. To introduce this change, it would be better to include this by introducing them component wise so that it can be tested in a streamlined manner.
Following are list of modules and their classes which are related with the changes done to update the `RecordBatch` specification.
### Vector
- [ ] `JsonFileReader`
- [ ] `JsonFileWriter`
- [ ] `ArrowReader`
- [X] `TestValueVector`
- [X] `TestVarcharViewVector`
- [ ] `TestVectorUnloadLoad`
- [ ] `TestArrowReaderWriter`
- [ ] `TestRoundtrip`
- [ ] `TestJsonFile`
- [ ] `ArrowRecordBatchBenchmarks`
- [ ] `MessageSerializerTest`
- [ ] `ArrowDictionaryBatch`
- [ ] `ArrowStreamReader`
- [ ] `TestValidateVector`
### Performance
- [ ] `VectorLoaderBenchmark`
- [ ] `VectorUnloaderBenchmarks`
### C
- [ ] `RoundtripTest`
- [ ] `StreamTest`
### Dataset
- [ ] `TestDataset`
- [ ] `TestFileSystemDataset`
- [ ] `ArrowScannerReader`
- [ ] `NativeScanner`
### Flight
- [ ] `TestFlightClient`
- [ ] `TestDoExchange`
- [ ] `IntegrationTestClient`
- [ ] `FlightStream`
- [ ] `IntegrationProducer`
- [ ] `ExpirationTimeDoGetScenario`
- [ ] `VectorSchemaRootTransformerTest`
- [ ] `FlightSQLExample`
- [ ] `TestBasicOperation`
### Compression
- [ ] `TestCompressionCodec`
### Gandiva
- [ ] `ProjectorTest`
- [ ] `ProjectorDecimalTest`
- [ ] `FilterTest`
- [ ] `FilterProjectTest`
- [ ] `BaseEvaluatorTest`
### Component(s)
Java
コントリビューションガイド
調査の方向性
まず RecordBatch 仕様と variadicBufferCounts の影響を受ける既存の Java インターフェースから始め、その後、unchecked の Vector、Performance、C、Dataset、Flight、Compression、Gandiva クラスをコンポーネントごとに進めます。checked である TestValueVector と TestVarcharViewVector の作業をコンテキストとして使用してください。列挙されたモジュールが一貫して更新され、関連するテストに合格すれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 20/100