bigscience-workshop / bigscience-workshop/pii_processing
improve stopwords in ontology_manager.py
オープン
- 主要言語
- Python
- スター
- 9
- フォーク
- 6
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
Improve the stopwords list in ontology_manager.py for example using https://github.com/rspeer/wordfreq.
This allows us to do better lexicon. For example, words like "best" and "much" are stopwords and should not be returned as NER/PII entities.
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
ontology_manager.py を開き、NER/PII エンティティの生成時に stopword リストがどのように定義され、使用されているかを確認してください。issue にリンクされている wordfreq のアプローチを確認し、"best" や "much" のような例が stopword として扱われ、エンティティとして返されなくなっていることを検証してください。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python
- 領域
- security
- issue の種類
- バグ
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 45/100