huggingface / huggingface/diffusers

Attention masks are missing in SD3 to mask out text padding tokens

Đang mở
#8,673 9 bình luận 0 reaction 0 người được giao Xem trên GitHub
contributions-welcome wip
Ngôn ngữ chính
Python
Star
34.5k
Fork
7.3k
Merge trung bình
3 ngày 3 giờ
Pull request đã merge (30 ngày)
91

Mô tả

### Describe the bug

In the attention implementation of SD3, attention masks currently are not used. This will result in inconsistent outputs for the different values `max_seq_length` where padding exists in text tokens as the attention scores of padding tokens are non-zero. This issue has been discussed in https://github.com/huggingface/diffusers/discussions/8628, and is created to track the progress of fixing this problem.

Thanks @sayakpaul for the discussion.

### Reproduction

n/a

### Logs

_No response_

### System Info

n/a

### Who can help?

_No response_

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu với phần triển khai attention của SD3 và đọc cuộc thảo luận được liên kết để nắm bối cảnh hiện có về các padding token. Theo dõi cách tính điểm attention khi có padding trong văn bản, sau đó xác minh rằng đầu ra không còn thay đổi theo max_seq_length chỉ do padding.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python, pytorch
Lĩnh vực
machine-learning
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.