huggingface / huggingface/diffusers

Tuning-Free Noise Rectification for High Fidelity Image-to-Video Generation

オープン
#7,333 コメント 15 件 リアクション 1 件 担当者 0 名 GitHub で見る
community-examples contributions-welcome stale
主要言語
Python
スター
34.5k
フォーク
7.3k
平均マージ
3日 3時間
マージ済み PR(30日)
91

説明

### Model/Pipeline/Scheduler description

Applying pretrained Text-to-Video (T2V) Diffusion models to Image-to-video (I2V) generation tasks using SDEdit often results in low source image fidelity in open domains. This method achieves high source image fidelity in output videos through supplementing more precise source image information using noise interpolation during early denoising steps, resulting in a simple-to-implement, tuning-free, and plug-and-play implementation. The experimental results demonstrate the effectiveness in improving the source image fidelity of generated videos when applied to I2V generation using SDEdit with several different T2V models.

### Open source status

- [ ] The model implementation is available.
- [ ] The model weights are available (Only relevant if addition is not a scheduler).

### Provide useful links for the implementation

Website: https://noise-rectification.github.io/
Paper: https://arxiv.org/pdf/2403.02827.pdf

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

リンク先の論文とプロジェクトのウェブサイトから始めて、ノイズ補間手法と、その実装に必要な統合ポイントを理解してください。issue にはファイルやテストが記載されていないため、まず diffusers 内で関連する image-to-video SDEdit モデル、パイプライン、またはスケジューラのエントリーポイントを特定してください。完了した作業には、モデルの実装と、該当する場合はモデルの重みを含めてください。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, pytorch
領域
computer-vision, machine-learning
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。