allenai / allenai/scibert

Domain specific terms

オープン
#120 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
1.7k
フォーク
232
PR マージ指標
30日以内にマージされた PR はありません

説明

Hi,
I want to pretrain SciBERT using additional data, and I want to enlarge the vocabulary with 100 additional "domain-specific" terms which are reserved for such usage.
So I've figured out a way to extract a list of terms from my data.

Let's supposed I have the following most relevant terms:
```
"polymer"
"materials"
"chemistry"
"polymers"
```

what should I do with the terms such as `polymer` and `polymers`? Include them both? or keep the singular only?

Does anybody have information or recommendation on this?

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。