apache / apache/parquet-java

Cache FileStatus in Footer to reduce redundant NameNode RPC calls

Đang mở
#3,394 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Type: enhancement
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

### Describe the enhancement requested

Optimization reduces redundant getFileStatus() RPC calls to the NameNode
when processing Parquet files.

Benefits:
- Reduces NameNode RPC calls by 1 per Parquet file during split generation
- For workloads with thousands of small files, this can significantly reduce
  NameNode pressure and improve job startup time
- Maintains full backward compatibility with existing code paths

### Component(s)

Core

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu bằng cách truy vết các lệnh gọi getFileStatus() trong quá trình tạo split Parquet và kiểm tra cách Footer được xử lý cho từng tệp Parquet. Xác nhận vị trí mà một bộ nhớ đệm FileStatus có thể được giữ lại trong đường dẫn mã hiện có mà không thay đổi hành vi. Được xem là hoàn tất khi giảm được một RPC NameNode cho mỗi tệp, vẫn duy trì khả năng tương thích ngược và giảm số lần gọi đối với các workload có nhiều tệp nhỏ.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
hadoop, java
Lĩnh vực
distributed-systems
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.