apache / apache/parquet-java

HadoopStreams to support ByteBufferPositionedReadable input streams

Đang mở
#3,080 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
Type: enhancement
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

### Describe the enhancement requested

If a stream declares in its StreamCapabilities that it supports
ByteBufferPositionedReadable, then use it for `readFully(ByteBuffer)`
All streams in Hadoop 3.0.0 + do declare this.

+ use StreamCapabilities to look for `ByteBufferReadable`.

For detecting ByteBufferReadable, use this probe falling back to the recursive scan.
All streams in the hadoop codebase will report this via StreamCapabilities, but there
may be some third-party streams which do not.

### Component(s)

_No response_

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu từ phần triển khai HadoopStreams và lần theo readFully(ByteBuffer), sau đó kiểm tra cách StreamCapabilities và quá trình quét đệ quy hiện có được sử dụng để phát hiện các stream có thể đọc. Công việc hoàn tất khi các stream khai báo ByteBufferPositionedReadable sử dụng capability này cho readFully(ByteBuffer), trong khi các stream của bên thứ ba vẫn fallback về quá trình quét đệ quy.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
data
Loại issue
Tính năng
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
48/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.