[Discussion] High-level API
Offen
- Vorherrschende Sprache
- Python
- Sterne
- 152
- Forks
- 16
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Just some random ideas for the ggml-python high-level api.
- [x] Automatic memory / context management
- [x] Simplify backend offloading
- Immediate mode(?)
- File loaders
- On-the-fly Quantization
Beitragsleitfaden
Bewertung
Dieses Issue wurde noch nicht bewertet.