bigscience-workshop / bigscience-workshop/pii_processing
improve stopwords in ontology_manager.py
- Vorherrschende Sprache
- Python
- Sterne
- 9
- Forks
- 6
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Improve the stopwords list in ontology_manager.py for example using https://github.com/rspeer/wordfreq.
This allows us to do better lexicon. For example, words like "best" and "much" are stopwords and should not be returned as NER/PII entities.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Öffne ontology_manager.py und untersuche, wie seine Stopwortliste definiert ist und bei der Erzeugung von NER/PII-Entitäten verwendet wird. Prüfe den im Issue verlinkten wordfreq-Ansatz und verifiziere anschließend, dass Beispiele wie "best" und "much" als Stopwörter behandelt und nicht mehr als Entitäten zurückgegeben werden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- security
- Issue-Typ
- Bug
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100