github / github/rust-gems

bpe-openai: allow lazy loading BPE and feature flag each model

オープン
#82 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Rust
スター
134
フォーク
24
平均マージ
16時間 27分
マージ済み PR(30日)
11

説明

The fully generated `.dict` models take 70mb, which bloats binaries substantially. This is compared to 3.4mb for the targz.

It would be nice to support lazily doing this translation, which takes a modest hit to runtime performance in return for dramatically smaller binary, and the ability to only load certain models reducing memory consumption.

It would also be nice to have feature flags to turn off certain models; this is less important if we add lazy loading, though, as it would just allow you to save 1-2mb off the binary.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

この issue ではファイル、テスト、エントリーポイントが指定されていないため、まず bpe-openai が生成した .dict モデルと、それらを変換またはロードするコードを見つけてください。モデルを遅延ロードでき、feature flags で個々のモデルを選択でき、サポートされている動作を失うことなくバイナリサイズとメモリの削減を実証できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
rust
領域
performance
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
30/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。