请问有没有 GPT2-ML 预训练模型，希望结合 DTR 进行微调
Nessuno ha ancora preso questa issue.
- Lingua principale
- Python
- Stelle
- 306
- Fork
- 96
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
## 请求
实现MegEngine实现GPT2-ML(https://github.com/imcaspar/gpt2-ml)
## 任务描述
实验项目微调GPT2-ML，由于GPU资源不足（RTX 3060-12GB）无法调试，通过【机器之心】得知MegEngine1.4 DTR技术解决了动态图显存优化的问题，想请问有没有参考教程让我们能通过DTR实现对GPT2-ML的微调
## 目标
采用MegEngine实现的GPT2-ML模型，通过DTR进行微调
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia esaminando il progetto GPT2-ML collegato nell’issue e la documentazione o gli esempi di MegEngine DTR. Il lavoro sarà considerato completato quando sarà fornita un’implementazione di GPT2-ML in MegEngine insieme a un tutorial di riferimento per eseguirne il fine-tuning con DTR rispettando i vincoli hardware indicati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- ai, machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100