bigscience-workshop / bigscience-workshop/pii_processing
improve stopwords in ontology_manager.py
- Langage dominant
- Python
- Étoiles
- 9
- Forks
- 6
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
Improve the stopwords list in ontology_manager.py for example using https://github.com/rspeer/wordfreq.
This allows us to do better lexicon. For example, words like "best" and "much" are stopwords and should not be returned as NER/PII entities.
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Ouvrez ontology_manager.py et examinez comment sa liste de mots vides est définie et utilisée lors de la production d’entités NER/PII. Examinez l’approche wordfreq liée dans l’issue, puis vérifiez que des exemples tels que "best" et "much" sont traités comme des mots vides et ne sont plus renvoyés comme des entités.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python
- Domaine
- security
- Type d'issue
- Bug
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 45/100