apache / apache/arrow-java

[Java] Integrating `variadicBufferCounts` to `RecordBatch` in Java

Đang mở
#86 2 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Java
Star
94
Fork
152
Merge trung bình
3 ngày 16 giờ
Pull request đã merge (30 ngày)
11

Mô tả

### Describe the enhancement requested

Once the `Utf8View` and `BinaryView` have been introduced, we have added a new attribute to the `RecordBatch` [spec](https://github.com/apache/arrow/blob/main/format/Message.fbs#L117). Once this change is integrated, we need to update the existing interfaces which uses this and related modules which use those interfaces. To introduce this change, it would be better to include this by introducing them component wise so that it can be tested in a streamlined manner.

Following are list of modules and their classes which are related with the changes done to update the `RecordBatch` specification.

### Vector

- [ ] `JsonFileReader`
- [ ] `JsonFileWriter`
- [ ] `ArrowReader`
- [X] `TestValueVector`
- [X] `TestVarcharViewVector`
- [ ] `TestVectorUnloadLoad`
- [ ] `TestArrowReaderWriter`
- [ ] `TestRoundtrip`
- [ ] `TestJsonFile`
- [ ] `ArrowRecordBatchBenchmarks`
- [ ] `MessageSerializerTest`
- [ ] `ArrowDictionaryBatch`
- [ ] `ArrowStreamReader`
- [ ] `TestValidateVector`

### Performance

- [ ] `VectorLoaderBenchmark`
- [ ] `VectorUnloaderBenchmarks`

### C

- [ ] `RoundtripTest`
- [ ] `StreamTest`

### Dataset

- [ ] `TestDataset`
- [ ] `TestFileSystemDataset`
- [ ] `ArrowScannerReader`
- [ ] `NativeScanner`

### Flight

- [ ] `TestFlightClient`
- [ ] `TestDoExchange`
- [ ] `IntegrationTestClient`
- [ ] `FlightStream`
- [ ] `IntegrationProducer`
- [ ] `ExpirationTimeDoGetScenario`
- [ ] `VectorSchemaRootTransformerTest`
- [ ] `FlightSQLExample`
- [ ] `TestBasicOperation`

### Compression

- [ ] `TestCompressionCodec`

### Gandiva

- [ ] `ProjectorTest`
- [ ] `ProjectorDecimalTest`
- [ ] `FilterTest`
- [ ] `FilterProjectTest`
- [ ] `BaseEvaluatorTest`

### Component(s)

Java

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu với đặc tả RecordBatch và các interface Java hiện có bị ảnh hưởng bởi variadicBufferCounts, sau đó lần lượt xử lý từng component trong các class unchecked Vector, Performance, C, Dataset, Flight, Compression và Gandiva. Sử dụng phần công việc trên TestValueVector và TestVarcharViewVector, vốn là checked, làm ngữ cảnh. Được coi là hoàn tất khi các module được liệt kê đã được cập nhật nhất quán và các test liên quan của chúng đều đạt.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
data
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
20/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.