dotnet / dotnet/machinelearning

AutoML: consider adding precision in checkpoint file

Aperta
#6,802 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

area-AutoML untriaged
Lingua principale
C#
Stelle
9.4k
Fork
1.9k
Merge medio
2g 20h
PR unite (30g)
11

Descrizione

Nightly, VS 2022, .NET 7.0

The checkpoint file has columns with 3-digit precision. In some cases I see loss being exactly the same on every run in the checkpoint file. I would like to confirm it it is exactly (or almost) same prediction. Therefore I would like to see 5-digit values in this file.

I think, in difficult problems it may also help the tuner to go to correct direction.

I know it is a minor issue to go 0.01% level but I also think there is no downside to adding precision to this file.

Example
Cost-frugal tuner. Are these results not improving because of the type of the data, or because the changes to params are too small?
image

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Inizia individuando il writer dei file di checkpoint di AutoML e il codice del tuner attento ai costi, quindi esamina gli eventuali test esistenti per l’output dei checkpoint o i risultati del tuning. L’issue è completata quando i valori numerici nei checkpoint usano una precisione di cinque cifre e l’output conferma se predizioni o losses ravvicinate differiscono.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
csharp
Ambito
machine-learning
Tipo di issue
Funzionalità
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.