github / github/rust-gems

bpe-openai: allow lazy loading BPE and feature flag each model

Đang mở
#82 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Rust
Star
134
Fork
24
Merge trung bình
16 giờ 27 phút
Pull request đã merge (30 ngày)
11

Mô tả

The fully generated `.dict` models take 70mb, which bloats binaries substantially. This is compared to 3.4mb for the targz.

It would be nice to support lazily doing this translation, which takes a modest hit to runtime performance in return for dramatically smaller binary, and the ability to only load certain models reducing memory consumption.

It would also be nice to have feature flags to turn off certain models; this is less important if we add lazy loading, though, as it would just allow you to save 1-2mb off the binary.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Issue không nêu tên tệp, kiểm thử hay entry point nào; hãy bắt đầu bằng cách xác định các model .dict được bpe-openai tạo ra và mã chuyển đổi hoặc tải chúng. Công việc được xem là hoàn tất khi có thể tải các model một cách lazy, chọn từng model bằng feature flags và chứng minh được mức tiết kiệm về binary và bộ nhớ mà không làm mất hành vi được hỗ trợ.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
rust
Lĩnh vực
performance
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
30/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.