allenai / allenai/safety-eval

Add support for HELM, Forbidden Questions, and AdvBench (via WildGuard proxy)

Aperta
#13 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
110
Fork
33
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

I want to add support to benchmarks like HELM and Forbidden questions, and possibly AdvBench.

I think this would give a more exhaustive list of benchmarks and would allow to better compare them.

For HELM and Forbidden questions, this is pretty straightforward; just adding the metrics and scenarios. For AdvBench, I was considering using Wildguard as a proxy.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.