alteryx / alteryx/evalml

Add model selection split for automl search

Aperta
#2,284 0 commenti 0 reazioni 1 assegnatario Rivendicata da @asniyaz Vedi su GitHub
needs design new feature spike
Lingua principale
Python
Stelle
850
Fork
96
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Rather than relying on the CV scores to rank the pipelines on the leaderboard, perhaps we should have a model selection split where we hold out some data and rank the pipelines depending on how well it performs on this holdout data.

I vaguely remember @dsherry mentioning that there was discussion about this with @kmax12, and @freddyaboulton mentioned a good point in #2260, so I figured it'd be a good thing to track.

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.