huggingface / huggingface/diffusers
Add support for JoyAI-Video-Edit
- 主要言語
- Python
- スター
- 34.5k
- フォーク
- 7.3k
- 平均マージ
- 3日 3時間
- マージ済み PR(30日)
- 91
説明
### Model/Pipeline/Scheduler description
[JoyAI-Video-Edit](https://github.com/jd-opensource/JoyAI-Video-Edit) is an instruction-guided video editing model based on the JoyAI streaming architecture.
It performs causal, chunk-wise video denoising with a per-layer KV cache. Each chunk attends to previously denoised chunks and may additionally attend to an optional reference image.
Prompt embeddings are produced by the external [MiMo-VL](https://huggingface.co/XiaomiMiMo/MiMo-VL-7B-RL-2508) model.
### Open source status
- [x] The model implementation is available.
- [x] The model weights are available (Only relevant if addition is not a scheduler).
### Provide useful links for the implementation
- Reference implementation: https://github.com/jd-opensource/JoyAI-Video-Edit
- Original checkpoint: https://huggingface.co/jdopensource/JoyAI-Video-Edit
- MiMo-VL: https://huggingface.co/XiaomiMiMo/MiMo-VL-7B-RL-2508
コントリビューションガイド
調査の方向性
リポジトリのファイル、テスト、エントリポイントは指定されていません。まず、リンクされたリファレンス実装とチェックポイントを、diffusers にある既存の動画モデル統合と比較し、その後、MiMo-VL のプロンプト埋め込み、因果 KV キャッシュ、チャンク単位のデノイジング、オプションの参照画像をプロジェクトにどのように組み込むかを判断してください。リンクされたモデルリソースを使用して JoyAI-Video-Edit がサポートされれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python, pytorch
- 領域
- computer-vision, machine-learning
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 静か
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 35/100