请问有没有 GPT2-ML 预训练模型，希望结合 DTR 进行微调
オープン
まだ誰も着手していません。
question
- 主要言語
- Python
- スター
- 306
- フォーク
- 96
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
## 请求
实现MegEngine实现GPT2-ML(https://github.com/imcaspar/gpt2-ml)
## 任务描述
实验项目微调GPT2-ML，由于GPU资源不足（RTX 3060-12GB）无法调试，通过【机器之心】得知MegEngine1.4 DTR技术解决了动态图显存优化的问题，想请问有没有参考教程让我们能通过DTR实现对GPT2-ML的微调
## 目标
采用MegEngine实现的GPT2-ML模型，通过DTR进行微调
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
まず、issue にリンクされている GPT2-ML プロジェクトと、MegEngine DTR のドキュメントまたは例を確認してください。完了条件は、GPT2-ML の MegEngine 実装と、記載されたハードウェア制約の下で DTR を使用してファインチューニングするためのリファレンスチュートリアルを提供することです。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python
- 領域
- ai, machine-learning
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100