elastic / elastic/ml-cpp

[ML] Read one object at a time for incremental training state

Aperta
#1,898 0 commenti 0 reazioni 1 assegnatario Rivendicata da @tveasey Vedi su GitHub
>enhancement
Lingua principale
C++
Stelle
157
Fork
67
Merge medio
17h 52m
PR unite (30g)
20

Descrizione

Currently, we read one big document for the data summarisation and one big document for the inference model, but there is nothing to stop us reading individual state documents one at a time using the `doc.ParseStream` API. This would significantly cutdown the memory when of restoring state for incremental train since we only inflate the state on-the-fly when reading the dechunked stream. Relates to #1849.

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.