aidotse / aidotse/LeakPro

Getting model logits is very slow

Đang mở
#390 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
enhancement priority - 3
Ngôn ngữ chính
Python
Star
23
Fork
28
Merge trung bình
4 ngày 12 giờ
Pull request đã merge (30 ngày)
5

Mô tả

# Issue
## Problem Description
After each shadow model is done training, it logits of the dataset is calculated and fetched.
This process takes approximately 6-7x the time one whole epoch takes to train.
The fault the model and logits are swapping devices multiple times.

## Expected Behavior
It should be faster than training one epoch, since it is just doing inference.

## What Needs to be Done
change ModelLogits in signal.py and PytorchModel.get_logits() in signal_extractor.py

## How Can It Be Tested or Reproduced
Check the time it takes to train a shadow model one epoch then watch the time it takes to fetch the logits

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.