How to Perform Static Quantization Directly on an ONNX Model Using Intel® Neural Compressor?

Đang mở
#2,488 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
20/100
Loại issue
Tài liệu
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python, pytorch
Lĩnh vực
documentation, machine-learning

Hướng nghiên cứu

Bắt đầu với sample quantize_with_inc.ipynb được liên kết và kiểm tra cách nó lưu mô hình PyTorch đã lượng tử hóa. Xác minh liệu đường dẫn đầu vào/đầu ra ONNX được yêu cầu có được hỗ trợ hay không và liệu có nên thêm một ví dụ export vào sample này hay không. Được xem là hoàn tất khi có câu trả lời hoặc ví dụ rõ ràng, có thể tái hiện, bao quát việc lượng tử hóa ONNX trực tiếp và đường dẫn export thay thế.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

question

Hello,

I'm using Intel® Neural Compressor (INC) to perform static quantization on my custom PyTorch model. I followed this script which demonstrates how to apply static quantization using INC on a PyTorch model.

My goal is to obtain the final quantized model in ONNX format. However, after quantization, saving the q_model results in a .pt file (PyTorch format). I also found that exporting quantized PyTorch models to ONNX is problematic due to limited support and compatibility issues, especially with static quantization.

My Question:

Is there a way to perform static quantization directly on an ONNX model using Intel® Neural Compressor to produce a quantized ONNX model as the output?
Alternatively, is there a specific method to export the statically quantized PyTorch model to ONNX format while addressing the compatibility issues?
Any guidance or examples on how to achieve this would be greatly appreciated.

Thank you!

Ngôn ngữ chính
C++
Star
1.2k
Fork
745
Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của oneapi-src/oneAPI-samples

Tất cả issue của oneapi-src/oneAPI-samples

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.