OpenGVLab / OpenGVLab/InternVideo
Some doubts about the absolute value of ViCLIP similarity
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Python
- Estrellas
- 2.4k
- Forks
- 160
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
Thanks for such beautiful work！
In the past, the similarity between video and text was usually calculating the similarity between each frame and text using text-image CLIP, and then take the average. If the text and video are aligned, the value calculated in this way is usually above 0.9.
However, The value calculated using ViCLIP is only about 0.3.
Could you explain the reason?
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
No se especifica ningún archivo, prueba ni punto de entrada. Empieza por rastrear cómo calcula ViCLIP la similitud entre vídeo y texto, y compara el ~0.3 indicado con el promedio de CLIP calculado por fotograma anterior; se considerará terminado cuando se documente por qué difieren las escalas.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- machine-learning
- Tipo de issue
- Documentación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 20/100