Enhance handling of large eventlogs
- Ngôn ngữ chính
- Haskell
- Star
- 173
- Fork
- 37
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
**Original reporter**: _jan.stolarek@_
When I enable detailed spark logging via -lf flag I end up with huge eventlog files (130MB). Attempting to load these into ThreadScope practically kills my OS - memory runs out, swapping begins and I am forced to kill TS (which takes some time before the OS actually responds and kills the process). This makes -lf flag useless for my program and I think this might not be uncommon situation. It would be good if TS supported some sort of lazy loading of big eventlogs, so users could at least view parts of the log.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Issue này liên quan đến việc tải các tệp eventlog lớn được tạo bằng flag -lf, nhưng không xác định các tệp, test hoặc điểm vào tải tương ứng. Trước tiên, hãy lần theo cách ThreadScope mở và giữ các eventlog, sau đó xác định cách người dùng có thể xem một phần của log mà không làm cạn kiệt bộ nhớ. Công việc được coi là hoàn tất khi có thể mở và kiểm tra một eventlog 130MB mà không gặp lỗi bộ nhớ hiện tại.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- haskell
- Lĩnh vực
- desktop, performance
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100