deepspeedai / deepspeedai/DeepSpeedExamples
No ignore index
Aperta
Nessuno ha ancora preso questa issue.
- Lingua principale
- Python
- Stelle
- 6.8k
- Fork
- 1.1k
- Merge medio
- 2g 16h
- PR unite (30g)
- 1
Descrizione
If the label corresponding to the pad token is not set to ignore index，how to avoid calculating losses on pad tokens?
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
L'issue non specifica alcun file, modello, funzione di perdita o test. Inizia individuando il label e il calcolo della loss del modello di esempio, quindi esamina come vengono gestiti i label dei token di padding. L'issue richiede un comportamento previsto definito e un esempio riproducibile prima che sia possibile verificarne il completamento.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- machine-learning
- Tipo di issue
- Bug
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 20/100