allenai / allenai/specter

Create preprocessed training files: metadata.json is missing ids in the train.txt, test.txt and val.txt

Aperta
#13 6 commenti 1 reazione 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
592
Fork
58
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

When I run the following -

```
python specter/data_utils/create_training_files.py \
--data-dir data/training \
--metadata data/training/metadata.json \
--outdir data/preprocessed/
```

I get `done getting triplets, success rate:0.00%`

and my data-metrics.json looks like -

```
{
"train": 0,
"val": 0,
"test": 0
}

```
I debugged the code and found that at [line](https://github.com/allenai/specter/blob/541fc2bf8b95118665082a335737508b3ce2c9b8/specter/data_utils/create_training_files.py#L311)
there is a key error when self.metadata is called.
Looks like the ids in train.txt, val.txt and test.txt are not in the metadata.json file

Please help and share the correct metadata.json file

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.