[Discussion] High-level API
Aberta
- Linguagem predominante
- Python
- Estrelas
- 152
- Forks
- 16
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
Just some random ideas for the ggml-python high-level api.
- [x] Automatic memory / context management
- [x] Simplify backend offloading
- Immediate mode(?)
- File loaders
- On-the-fly Quantization
Guia de contribuição
Avaliação
Esta issue ainda não foi avaliada.