allenai / allenai/scibert

Domain specific terms

Aperta
#120 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
1.7k
Fork
232
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Hi,
I want to pretrain SciBERT using additional data, and I want to enlarge the vocabulary with 100 additional "domain-specific" terms which are reserved for such usage.
So I've figured out a way to extract a list of terms from my data.

Let's supposed I have the following most relevant terms:
```
"polymer"
"materials"
"chemistry"
"polymers"
```

what should I do with the terms such as `polymer` and `polymers`? Include them both? or keep the singular only?

Does anybody have information or recommendation on this?

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.