OpenGVLab / OpenGVLab/InternVideo
Some doubts about the absolute value of ViCLIP similarity
オープン
まだ誰も着手していません。
- 主要言語
- Python
- スター
- 2.4k
- フォーク
- 160
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
Thanks for such beautiful work！
In the past, the similarity between video and text was usually calculating the similarity between each frame and text using text-image CLIP, and then take the average. If the text and video are aligned, the value calculated in this way is usually above 0.9.
However, The value calculated using ViCLIP is only about 0.3.
Could you explain the reason?
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
ファイル、テスト、エントリーポイントのいずれも指定されていません。まず ViCLIP が動画とテキストの類似度をどのように計算するかを追跡し、報告されている ~0.3 と、以前のフレーム単位の CLIP 平均を比較してください。スケールが異なる理由を文書化できれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python
- 領域
- machine-learning
- issue の種類
- ドキュメント
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 20/100