haskell / haskell/ThreadScope

Enhance handling of large eventlogs

Đang mở
#29 5 bình luận 0 reaction 0 người được giao Xem trên GitHub
@major enhancement
Ngôn ngữ chính
Haskell
Star
173
Fork
37
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

**Original reporter**: _jan.stolarek@_

When I enable detailed spark logging via -lf flag I end up with huge eventlog files (130MB). Attempting to load these into ThreadScope practically kills my OS - memory runs out, swapping begins and I am forced to kill TS (which takes some time before the OS actually responds and kills the process). This makes -lf flag useless for my program and I think this might not be uncommon situation. It would be good if TS supported some sort of lazy loading of big eventlogs, so users could at least view parts of the log.

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Issue này liên quan đến việc tải các tệp eventlog lớn được tạo bằng flag -lf, nhưng không xác định các tệp, test hoặc điểm vào tải tương ứng. Trước tiên, hãy lần theo cách ThreadScope mở và giữ các eventlog, sau đó xác định cách người dùng có thể xem một phần của log mà không làm cạn kiệt bộ nhớ. Công việc được coi là hoàn tất khi có thể mở và kiểm tra một eventlog 130MB mà không gặp lỗi bộ nhớ hiện tại.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
haskell
Lĩnh vực
desktop, performance
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.