github / github/rust-gems

bpe-openai: allow lazy loading BPE and feature flag each model

未关闭
#82 3 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Rust
星标
134
派生
24
平均合并
16 小时 27 分钟
30 天内合并 PR
11

描述

The fully generated `.dict` models take 70mb, which bloats binaries substantially. This is compared to 3.4mb for the targz.

It would be nice to support lazily doing this translation, which takes a modest hit to runtime performance in return for dramatically smaller binary, and the ability to only load certain models reducing memory consumption.

It would also be nice to have feature flags to turn off certain models; this is less important if we add lazy loading, though, as it would just allow you to save 1-2mb off the binary.

贡献指南

打开贡献指南

调研方向

该 issue 没有指出任何文件、测试或入口点;首先定位由 bpe-openai 生成的 .dict 模型,以及用于转换或加载它们的代码。完成标准是:模型可以延迟加载,可以通过 feature flags 选择单个模型,并且在不丢失受支持行为的情况下证明二进制文件和内存的节省。

由索引模型根据 Issue 内容生成。

评估

技术栈
rust
领域
performance
Issue 类型
功能
难度
5/5
预计耗时
一周以上
活跃度
停滞
描述清晰度
需要澄清
新手友好度
30/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。