[ML] Read one object at a time for incremental training state
Offen
@tveasey arbeitet bereits daran.
Seit 12.5.2021.
>enhancement
- Vorherrschende Sprache
- C++
- Sterne
- 157
- Forks
- 67
- Ø Merge
- 17 Std. 52 Min.
- Gemergte PRs (30 T.)
- 20
Beschreibung
Currently, we read one big document for the data summarisation and one big document for the inference model, but there is nothing to stop us reading individual state documents one at a time using the doc.ParseStream<rapidjson::kParseStopWhenDoneFlag> API. This would significantly cutdown the memory when of restoring state for incremental train since we only inflate the state on-the-fly when reading the dechunked stream. Relates to #1849.
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Bewertung
Dieses Issue wurde noch nicht bewertet.