OpenGVLab / OpenGVLab/InternVideo

Fine-tuning on SSV2 with official 1B_ft_ssv2_f8.pth weights yields only ~2.78% Top-1 accuracy, loss barely decreases

Aperta
#321 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Lingua principale
Python
Stelle
2.4k
Fork
160
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

I downloaded the official weights (L14_ft_ssv2_f8.pth) and fine-tuned the model on the SSV2 dataset. After 8 epochs, the validation Top-1 accuracy is only ~2.78%, which is barely above random guessing (SSV2 has 174 classes, random baseline is ~0.57%). Both training and validation loss remain nearly flat throughout training (~4.22 → 4.04), indicating that the model is not learning.

{"train_lr": 2.1873697505525736e-06, "train_loss": 4.39070353931896, "val_loss": 4.047283397870281, "val_acc1": 2.550649960861434, "epoch": 0}
{"train_lr": 6.3125e-06, "train_loss": 4.2231926481143605, "val_loss": 4.047495159728945, "val_acc1": 2.046170143769742, "epoch": 1}
{"train_lr": 1.0437630249447425e-05, "train_loss": 4.223525819729209, "val_loss": 4.046330469506293, "val_acc1": 2.0582776594242813, "epoch": 2}
{"train_lr": 1.2100895909686002e-05, "train_loss": 4.223054990936006, "val_loss": 4.0448254477250725, "val_acc1": 2.7322626938320687, "epoch": 3}
{"train_lr": 9.890037348431687e-06, "train_loss": 4.22190657817833, "val_loss": 4.043751512584705, "val_acc1": 2.7161193368548253, "epoch": 4}
{"train_lr": 6.312681116098593e-06, "train_loss": 4.221108646998975, "val_loss": 4.045732998547919, "val_acc1": 2.3528938718372863, "epoch": 5}
{"train_lr": 2.7352557035717826e-06, "train_loss": 4.220008719731904, "val_loss": 4.041641456921588, "val_acc1": 2.691904306469476, "epoch": 6}
{"train_lr": 5.242160262188567e-07, "train_loss": 4.219491178569124, "val_loss": 4.0436078170377545, "val_acc1": 2.5748649875518628, "epoch": 7}
{"Final top-1": 2.7801303531317894, "Final Top-5": 12.541886069889898}

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Non sono indicati file, test o punti di ingresso. Inizia riproducendo l'esecuzione di fine-tuning di SSV2 con i pesi ufficiali, quindi traccia i percorsi coinvolti nel caricamento del modello, del dataset e della configurazione di training; il lavoro è completato quando è stata identificata la causa della loss quasi piatta e dell'accuratezza Top-1 molto bassa e l'esecuzione apprende come previsto.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
machine-learning
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Tranquilla
Chiarezza
Da chiarire
Idoneità per principianti
42/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.