InternalParquetRecordWriter - Too much memory used
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
Our logs are full of entries starting with `InternalParquetRecordWriter - Too much memory used: (...)`. We shall investigate why this is logged and whether it is a logging issue or some regression in our memory consumption.
**Reporter**: [Gabor Szadovszky](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=gszadovszky) / @gszadovszky
**Note**: *This issue was originally created as [PARQUET-1833](https://issues.apache.org/jira/browse/PARQUET-1833). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng việc xác định InternalParquetRecordWriter và đoạn mã phát ra mục log “Too much memory used”. Tái hiện hoặc truy vết điều kiện kích hoạt mục này, sau đó xác định liệu thông báo có phải do việc ghi log không chính xác hay do hồi quy trong mức sử dụng bộ nhớ hay không. Công việc được xem là hoàn tất khi nguyên nhân đã được xác định và issue có hướng khắc phục rõ ràng.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100