deepspeedai / deepspeedai/DeepSpeedExamples
step3_rlhf_finetuning and two tokenizers
Aperta
@xiaoxiawu-microsoft ci sta già lavorando.
Dal 16/6/2023.
deespeed chat
modeling
new-config
question
- Lingua principale
- Python
- Stelle
- 6.8k
- Fork
- 1.1k
- Merge medio
- 2g 16h
- PR unite (30g)
- 1
Descrizione
Hello.
I'm trying to train a GPT-J 6B, and as a critical model I have trained several networks of different/similar families (gpt2, gpt-neo, bloom, ...)
I know that in step 3 only a tokenizer is used, so with gpt-j I get this error #512.
What critical model can I use with gpt-j?
Thanks.
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Valutazione
Questa issue non è ancora stata valutata.