triviaqa results not reproducible
Abierto
- Lenguaje dominante
- Python
- Estrellas
- 2.2k
- Forks
- 285
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
```
python3 -m scripts.triviaqa --train_dataset $QA_PATH/processed/squad-wikipedia-train-4096.json \
--dev_dataset $QA_PATH/processed/squad-wikipedia-dev-4096.json \
--gpus 0 --num_workers 4 \
--max_seq_len 4096 --doc_stride -1 \
--save_prefix triviaqa-longformer-large \
--model_path models/longformer-large-4096 \
--test
```
during evaluation, I only got this score
`{'exact_match': 0.025021894157387713, 'f1': 4.5473948151449575, 'common': 7993, 'denominator': 7993, 'pred_len': 7993, 'gold_len': 7993}`
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Evaluación
Este issue todavía no se ha evaluado.