bpe-openai: allow lazy loading BPE and feature flag each model
- Lenguaje dominante
- Rust
- Estrellas
- 134
- Forks
- 24
- Merge medio
- 16 h 27 min
- PR fusionados (30 d)
- 11
Descripción
The fully generated `.dict` models take 70mb, which bloats binaries substantially. This is compared to 3.4mb for the targz.
It would be nice to support lazily doing this translation, which takes a modest hit to runtime performance in return for dramatically smaller binary, and the ability to only load certain models reducing memory consumption.
It would also be nice to have feature flags to turn off certain models; this is less important if we add lazy loading, though, as it would just allow you to save 1-2mb off the binary.
Guía de contribución
Línea de trabajo
El issue no menciona archivos, pruebas ni puntos de entrada; comienza localizando los modelos .dict generados por bpe-openai y el código que los traduce o carga. Se considera terminado cuando los modelos se pueden cargar de forma diferida, se pueden seleccionar modelos individuales con feature flags y se demuestran ahorros en el binario y la memoria sin perder el comportamiento compatible.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- rust
- Área
- performance
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 30/100