protocolbuffers / protocolbuffers/protobuf-javascript

Javascript code is extraordinarily slow

Đang mở
#39 1 bình luận 1 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

javascript P3 triaged
Ngôn ngữ chính
JavaScript
Star
471
Fork
91
Merge trung bình
3 giờ 57 phút
Pull request đã merge (30 ngày)
2

Mô tả

Version: 3.9.1
Language: Javascript

I have a message like this:

message Outer {
  repeated Inner inner = 1;
}
message Inner {
  repeated Item items = 1;
}
message Item {
  uint32 a = 1;
  uint32 b = 2;
  uint32 c = 3;
  uint32 d = 4;
  uint32 e = 5;
}

It contains approximately 1000 Inners and 700k Items in total and comes out at about 10MB. Using the default Javascript implementation of protobufs it takes 10 seconds to decode. I switched to using Mapbox pbf, and that only takes 170 milliseconds.

I looked at PBF's code and they don't seem to be doing anything special. decodeVarint looks like it has had some work to make Javascript engines happy with varints normally being less than 2^32, but... come on! That's 2 orders of magnitude! How is this implementation so slow?

Another issue is that this code generates objects with getters and setters, rather than just creating a plain object. Why? It just means I have to do even more tedious work when my message has been decoded to turn it into a form that I can easily use!

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Hướng nghiên cứu

Bắt đầu bằng cách profiling bộ giải mã protobuf JavaScript mặc định với schema lồng nhau đã được báo cáo và dataset khoảng 10 MB, sau đó so sánh việc giải mã varint và tạo object của nó với Mapbox PBF. Xác định xem khoảng cách hiệu năng và hành vi getter/setter có phải là những thay đổi có thể thực hiện hay không; hoàn thành có nghĩa là có một fix được giới hạn phạm vi, kèm theo các phép đo và test cho thấy sự cải thiện.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
javascript
Lĩnh vực
backend
Loại issue
Lỗi
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.