Memory-efficient attention (without xformers)

I implemented sub-quadratic attention (as described in https://arxiv.org/abs/2112.05682v2):
https://twitter.com/Birchlabs/status/1607503573906063362
https://github.com/Birch-san/diffusers/pull/1
https://github.com/Birch-san/diffusers-play/commit/a573e3d9ea4fdacfdee7ddd5eecdac29b236fc00

is this worth upstreaming? it enables creation of images larger than can be achieved with attention slicing.

まず、リンク先の論文と参照されている実装およびコミットを読み、その後、それらの二次未満計算量の Attention アプローチを、リポジトリの現在の Attention パスと比較します。適切な検証を伴い、xformers なしで動作し、attention slicing で可能なものを超える画像サイズを実現する、upstream に取り込める実装を特定できれば完了です。

索引モデルが issue の本文から書いたものです。