github / github/rust-gems

bpe-openai: allow lazy loading BPE and feature flag each model

Abierto
#82 3 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Rust
Estrellas
134
Forks
24
Merge medio
16 h 27 min
PR fusionados (30 d)
11

Descripción

The fully generated `.dict` models take 70mb, which bloats binaries substantially. This is compared to 3.4mb for the targz.

It would be nice to support lazily doing this translation, which takes a modest hit to runtime performance in return for dramatically smaller binary, and the ability to only load certain models reducing memory consumption.

It would also be nice to have feature flags to turn off certain models; this is less important if we add lazy loading, though, as it would just allow you to save 1-2mb off the binary.

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

El issue no menciona archivos, pruebas ni puntos de entrada; comienza localizando los modelos .dict generados por bpe-openai y el código que los traduce o carga. Se considera terminado cuando los modelos se pueden cargar de forma diferida, se pueden seleccionar modelos individuales con feature flags y se demuestran ahorros en el binario y la memoria sin perder el comportamiento compatible.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
rust
Área
performance
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
30/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.