elastic / elastic/ml-cpp

[ML] Include memory required for persistence in data frame analytics memory estimates

Abierto
#1,900 0 comentarios 0 reacciones 0 asignados Ver en GitHub
:ml/DataFrameAnalysis
Lenguaje dominante
C++
Estrellas
157
Forks
67
Merge medio
17 h 52 min
PR fusionados (30 d)
20

Descripción

The memory estimates used in data frame analytics should include an allowance for the extra memory required during persistence and restoration. Otherwise during persistence or restoration on a maxed-out node there is a risk that some process (not necessarily the job doing persistence or restoration) gets killed because there isn't enough memory to accommodate both the model and the extra data structures used during persistence and restoration.

It would be reasonable that this is just a simple multiplier of the estimated model size. If the main extra memory usage is in compressed form then maybe 10% would be enough, or maybe 10% plus a capped amount for a single uncompressed chunk, for example, `reported memory estimate = raw memory estimate * 1.1 + min(16MB, raw memory estimate)`.

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza localizando el código de estimación de memoria de data frame analytics y las rutas de persistencia y restauración. Compara la estimación bruta del modelo con la memoria transitoria adicional utilizada durante esas operaciones. Se considera terminado cuando la estimación informada incluye un margen acordado y las pruebas cubren la persistencia o la restauración cuando un nodo está cerca de su límite de memoria.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
cpp
Área
machine-learning
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.