bpe-openai: allow lazy loading BPE and feature flag each model
- Ngôn ngữ chính
- Rust
- Star
- 134
- Fork
- 24
- Merge trung bình
- 16 giờ 27 phút
- Pull request đã merge (30 ngày)
- 11
Mô tả
The fully generated `.dict` models take 70mb, which bloats binaries substantially. This is compared to 3.4mb for the targz.
It would be nice to support lazily doing this translation, which takes a modest hit to runtime performance in return for dramatically smaller binary, and the ability to only load certain models reducing memory consumption.
It would also be nice to have feature flags to turn off certain models; this is less important if we add lazy loading, though, as it would just allow you to save 1-2mb off the binary.
Hướng dẫn đóng góp
Hướng nghiên cứu
Issue không nêu tên tệp, kiểm thử hay entry point nào; hãy bắt đầu bằng cách xác định các model .dict được bpe-openai tạo ra và mã chuyển đổi hoặc tải chúng. Công việc được xem là hoàn tất khi có thể tải các model một cách lazy, chọn từng model bằng feature flags và chứng minh được mức tiết kiệm về binary và bộ nhớ mà không làm mất hành vi được hỗ trợ.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- rust
- Lĩnh vực
- performance
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 30/100