allenai / allenai/specter

How to correctly define "--included-text-fields" when embedding data

オープン
#15 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
592
フォーク
58
PR マージ指標
30日以内にマージされた PR はありません

説明

Hi there,
I have used the pretrained model to embed my own data. In `scripts/embed.py`, there is an argument `--included-text-fields` which seems to be a user-defined option. Since I would like to compare the embedding of the title, title+abstract and also all the content of an article containing results, conclusion, and etc.; however, it doesn't work when I override the value such as `abstract title results`. Besides, I found that when `title` is given to `--included-text-fields` , the embedding differs from the same condition but with abstract removed.
Is there any limitation regarding to this issue?

The corresponding input format:

metadata.json
{
doc_id: { "title": "..........",
"abstract": "..........",
"results": "..........",
"conclusion": "..........",
"other_content": "..........",
"paper_id": doc_id },
...
}

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。