apache / apache/arrow-java

[C++][Java] Dataset: Support reading from fixed offset of a file for Parquet format

Đang mở
#307 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
Type: enhancement
Ngôn ngữ chính
Java
Star
94
Fork
152
Merge trung bình
3 ngày 16 giờ
Pull request đã merge (30 ngày)
11

Mô tả

This adds property start_offset_ and length_ to FileSource and should be functional for Parquet dataset format. Supporting Java and C++ dataset API at this time.

**Reporter**: [Jin Chengcheng](https://issues.apache.org/jira/browse/ARROW-17159) / @jinchengchenghh
#### Related issues:
- [[C++][Java] Dataset: Support reading from fixed offset of a file for Parquet format](https://github.com/apache/arrow/issues/20332) (is duplicated by)
#### PRs and other links:
- [GitHub Pull Request apache/arrow#13673](https://github.com/apache/arrow/pull/13673)
- [GitHub Pull Request apache/arrow#13688](https://github.com/apache/arrow/pull/13688)

**Note**: *This issue was originally created as [ARROW-17159](https://issues.apache.org/jira/browse/ARROW-17159). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu bằng cách xem xét FileSource và các triển khai dataset Parquet hiện có trong các API Java và C++, sau đó kiểm tra các PR #13673 và #13688 cùng issue trùng lặp #20332. Công việc được xem là hoàn thành khi việc đọc với offset cố định bằng start_offset_ và length_ hoạt động cho định dạng dataset Parquet trong cả hai API.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
cpp, java
Lĩnh vực
api, data
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
20/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.