elastic / elastic/ml-cpp

[ML] Include memory required for persistence in data frame analytics memory estimates

Ouverte
#1,900 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
:ml/DataFrameAnalysis
Langage dominant
C++
Étoiles
157
Forks
67
Merge moyen
17 h 52 min
PR mergées (30 j)
20

Description

The memory estimates used in data frame analytics should include an allowance for the extra memory required during persistence and restoration. Otherwise during persistence or restoration on a maxed-out node there is a risk that some process (not necessarily the job doing persistence or restoration) gets killed because there isn't enough memory to accommodate both the model and the extra data structures used during persistence and restoration.

It would be reasonable that this is just a simple multiplier of the estimated model size. If the main extra memory usage is in compressed form then maybe 10% would be enough, or maybe 10% plus a capped amount for a single uncompressed chunk, for example, `reported memory estimate = raw memory estimate * 1.1 + min(16MB, raw memory estimate)`.

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par localiser le code d’estimation de la mémoire de data frame analytics ainsi que les chemins de persistance et de restauration. Comparez l’estimation brute du modèle avec la mémoire transitoire supplémentaire utilisée pendant ces opérations. Le travail est terminé lorsque l’estimation rapportée inclut une marge convenue et que les tests couvrent la persistance ou la restauration lorsqu’un nœud est proche de sa limite de mémoire.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
cpp
Domaine
machine-learning
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.