MegEngine / MegEngine/examples

how to dump a int4 model

Aperta
#9 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Lingua principale
Python
Stelle
31
Fork
5
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

hi我使用代码中提示的dump.py脚本,不加载模型文件,生成的mgb模型速度远低于resnet50.int4.mge的模型
另外参考int8的模型,https://github.com/MegEngine/Models/tree/master/official/quantization#quantization-aware-training-qat
dump成量化模型需要quantize。麻烦请教一下是否是我操作有误best
yours

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Inizia con lo script dump.py menzionato nell’issue e confronta il suo output con resnet50.int4.mge. Leggi la documentazione collegata di MegEngine sul quantization-aware training per comprendere il flusso di quantizzazione previsto. Il lavoro è completato quando è stato identificato se la procedura di dump del modello è errata e documentata l’operazione corretta, oppure riprodotto un problema confermato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
machine-learning
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.