请问有没有 GPT2-ML 预训练模型，希望结合 DTR 进行微调
Offen
Dieses Issue hat noch niemand übernommen.
question
- Vorherrschende Sprache
- Python
- Sterne
- 306
- Forks
- 96
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
## 请求
实现MegEngine实现GPT2-ML(https://github.com/imcaspar/gpt2-ml)
## 任务描述
实验项目微调GPT2-ML，由于GPU资源不足（RTX 3060-12GB）无法调试，通过【机器之心】得知MegEngine1.4 DTR技术解决了动态图显存优化的问题，想请问有没有参考教程让我们能通过DTR实现对GPT2-ML的微调
## 目标
采用MegEngine实现的GPT2-ML模型，通过DTR进行微调
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne mit der Durchsicht des im Issue verlinkten GPT2-ML-Projekts sowie der MegEngine-DTR-Dokumentation oder -Beispiele. Als erledigt gilt die Bereitstellung einer MegEngine-Implementierung von GPT2-ML zusammen mit einem Referenz-Tutorial zum Fine-Tuning mit DTR unter den angegebenen Hardware-Einschränkungen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- ai, machine-learning
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100