bigscience-workshop / bigscience-workshop/Megatron-DeepSpeed

Set up a basic MLflow setup

Aperta
#87 1 commento 0 reazioni 3 assegnatari Rivendicata da @JetRunner Vedi su GitHub
MLFlow
Lingua principale
Python
Stelle
1.4k
Fork
226
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Replicate all the tensorboard logging in Meg-DS, plus logging hyperparams of choice.
So on the code level:

1. repeat tensorboard 1:1 but log using mlflow api
2. find new places where to log new things (e.g. hyperparams)
3. WGs that want to log specific events/data will add those directly to Meg-DS code base
4. Currently the config is just `--mlflow-dir` on/off toggle which will log **all** MLFlow events/data

example:
https://gist.github.com/tsaoyu/14e39a6d246cb29b107a2cc62a12f7a3

**Blocking events:**

- [ ] @JetRunner setting up the MLFlow server

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.