bigscience-workshop / bigscience-workshop/pii_processing

improve stopwords in ontology_manager.py

オープン
#4 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
9
フォーク
6
PR マージ指標
30日以内にマージされた PR はありません

説明

Improve the stopwords list in ontology_manager.py for example using https://github.com/rspeer/wordfreq.

This allows us to do better lexicon. For example, words like "best" and "much" are stopwords and should not be returned as NER/PII entities.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

ontology_manager.py を開き、NER/PII エンティティの生成時に stopword リストがどのように定義され、使用されているかを確認してください。issue にリンクされている wordfreq のアプローチを確認し、"best" や "much" のような例が stopword として扱われ、エンティティとして返されなくなっていることを検証してください。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python
領域
security
issue の種類
バグ
難易度
2/5
見積もり時間
1〜3時間
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。