相同业务场景和文本下新增抽取实体和关系后召回率差异极大
- Dominant language
- Python
- Stars
- 2.2k
- Forks
- 257
- PR merge metrics
- No merged PRs in 30d
Description
环境为:
python3.7
paddlepaddle-gpu 2.4.2.post117
paddlenlp 2.5.2
cuda-version 11.7
GPU:A800
问题描述:在合同文本中抽取关系,合同文本长度有几千到一万字不等,由于有的关系涉及到的实体间隔比较远(该情况概率较小),在标注的时候是将整篇合同文本放进去进行标注的。在第一版的时候通过实体关系标注抽取的时候召回率和f1都有0.85左右,在第二版新增了实体种类和关系种类的时候,召回率为0.3,f1为0.4,较第一版差距比较大。同时,两版抽取schema中相同的实体和关系,第二版的效果也要远低于第一版的,不知道是不是被第二版标注的其他数据给影响到了整个的效果。
eg:全部合同文本涉及到多个类别,共有700份文件进行了标注,其中各类别分布不均匀,有的类别有100多个样本,有的类别是由10多个样本,但是部分样本在100的类别抽取效果也很不好。为了验证我尝试过将该类别样本单独提取出来做训练和推理,发现仅有该类别的情况下仍然效果不好。

eg:注释的schema是效果好一点的那一版,没注释的是效果比较差的

Contributor guide
No contributing guide indexed for this repository
Research direction
Start by reproducing the reported entity and relation extraction results with the listed Python, PaddlePaddle, PaddleNLP, CUDA, and GPU environment. Compare the first and second schemas, dataset distributions, and full-contract versus single-category runs; done means identifying a supported cause for the recall and F1 difference or documenting the missing reproduction details.
Written by the indexing model from the issue text.
Assessment
- Tech stack
- python
- Domain
- machine-learning
- Issue type
- Bug
- Difficulty
- 4/5
- Estimated time
- 3-5 days
- Activity status
- Stale
- Clarity
- Needs clarification
- Newbie friendliness
- 25/100