请问有没有 GPT2-ML 预训练模型，希望结合 DTR 进行微调
Ouverte
Personne n'a encore pris cette issue.
question
- Langage dominant
- Python
- Étoiles
- 306
- Forks
- 96
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
## 请求
实现MegEngine实现GPT2-ML(https://github.com/imcaspar/gpt2-ml)
## 任务描述
实验项目微调GPT2-ML，由于GPU资源不足（RTX 3060-12GB）无法调试，通过【机器之心】得知MegEngine1.4 DTR技术解决了动态图显存优化的问题，想请问有没有参考教程让我们能通过DTR实现对GPT2-ML的微调
## 目标
采用MegEngine实现的GPT2-ML模型，通过DTR进行微调
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Commencez par examiner le projet GPT2-ML lié dans l’issue ainsi que la documentation ou les exemples de MegEngine DTR. Le travail sera considéré comme terminé lorsqu’une implémentation de GPT2-ML avec MegEngine sera fournie, accompagnée d’un tutoriel de référence pour effectuer son fine-tuning avec DTR dans les limites matérielles indiquées.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python
- Domaine
- ai, machine-learning
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100