How to Perform Static Quantization Directly on an ONNX Model Using Intel® Neural Compressor?

Aperta
#2,488 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
20/100
Tipo di issue
Documentazione
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
python, pytorch
Ambito
documentation, machine-learning

Direzione di ricerca

Inizia con l’esempio collegato quantize_with_inc.ipynb e verifica come salva il modello PyTorch quantizzato. Verifica se il percorso di input/output ONNX richiesto è supportato e se in questo esempio debba essere incluso un esempio di esportazione. Il lavoro è completo quando è disponibile una risposta o un esempio chiaro e riproducibile che copra la quantizzazione ONNX diretta e il percorso di esportazione alternativo.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

question

Hello,

I'm using Intel® Neural Compressor (INC) to perform static quantization on my custom PyTorch model. I followed this script which demonstrates how to apply static quantization using INC on a PyTorch model.

My goal is to obtain the final quantized model in ONNX format. However, after quantization, saving the q_model results in a .pt file (PyTorch format). I also found that exporting quantized PyTorch models to ONNX is problematic due to limited support and compatibility issues, especially with static quantization.

My Question:

Is there a way to perform static quantization directly on an ONNX model using Intel® Neural Compressor to produce a quantized ONNX model as the output?
Alternatively, is there a specific method to export the statically quantized PyTorch model to ONNX format while addressing the compatibility issues?
Any guidance or examples on how to achieve this would be greatly appreciated.

Thank you!

Lingua principale
C++
Stelle
1.2k
Fork
745
Nessuna PR unita negli ultimi 30g

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di oneapi-src/oneAPI-samples

Tutte le issue di oneapi-src/oneAPI-samples

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.