huggingface / huggingface/diffusers
Tuning-Free Noise Rectification for High Fidelity Image-to-Video Generation
- 主要言語
- Python
- スター
- 34.5k
- フォーク
- 7.3k
- 平均マージ
- 3日 3時間
- マージ済み PR(30日)
- 91
説明
### Model/Pipeline/Scheduler description
Applying pretrained Text-to-Video (T2V) Diffusion models to Image-to-video (I2V) generation tasks using SDEdit often results in low source image fidelity in open domains. This method achieves high source image fidelity in output videos through supplementing more precise source image information using noise interpolation during early denoising steps, resulting in a simple-to-implement, tuning-free, and plug-and-play implementation. The experimental results demonstrate the effectiveness in improving the source image fidelity of generated videos when applied to I2V generation using SDEdit with several different T2V models.
### Open source status
- [ ] The model implementation is available.
- [ ] The model weights are available (Only relevant if addition is not a scheduler).
### Provide useful links for the implementation
Website: https://noise-rectification.github.io/
Paper: https://arxiv.org/pdf/2403.02827.pdf
コントリビューションガイド
調査の方向性
リンク先の論文とプロジェクトのウェブサイトから始めて、ノイズ補間手法と、その実装に必要な統合ポイントを理解してください。issue にはファイルやテストが記載されていないため、まず diffusers 内で関連する image-to-video SDEdit モデル、パイプライン、またはスケジューラのエントリーポイントを特定してください。完了した作業には、モデルの実装と、該当する場合はモデルの重みを含めてください。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python, pytorch
- 領域
- computer-vision, machine-learning
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100