Memory-efficient attention (without xformers)

I implemented sub-quadratic attention (as described in https://arxiv.org/abs/2112.05682v2):
https://twitter.com/Birchlabs/status/1607503573906063362
https://github.com/Birch-san/diffusers/pull/1
https://github.com/Birch-san/diffusers-play/commit/a573e3d9ea4fdacfdee7ddd5eecdac29b236fc00

is this worth upstreaming? it enables creation of images larger than can be achieved with attention slicing.

Comienza leyendo el artículo enlazado y la implementación y el commit referenciados; después, compara su enfoque de atención subcuadrática con la ruta de atención actual del repositorio. Se considerará terminado cuando se determine una implementación apta para upstream que funcione sin xformers y permita tamaños de imagen superiores a los posibles con attention slicing, con la validación adecuada.

Escrito por el modelo de indexación a partir del texto del issue.