OpenGVLab / OpenGVLab/InternVideo
Some doubts about the absolute value of ViCLIP similarity
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 2.4k
- Forks
- 160
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Thanks for such beautiful work！
In the past, the similarity between video and text was usually calculating the similarity between each frame and text using text-image CLIP, and then take the average. If the text and video are aligned, the value calculated in this way is usually above 0.9.
However, The value calculated using ViCLIP is only about 0.3.
Could you explain the reason?
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Es werden keine Datei, kein Test und kein Einstiegspunkt genannt. Beginne damit, nachzuverfolgen, wie ViCLIP die Video-Text-Ähnlichkeit berechnet, und vergleiche den angegebenen Wert von ~0.3 mit dem bisherigen frameweisen CLIP-Durchschnitt; fertig ist die Aufgabe, wenn dokumentiert ist, warum sich die Skalen unterscheiden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- machine-learning
- Issue-Typ
- Dokumentation
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 20/100