bigscience-workshop / bigscience-workshop/pii_processing

improve stopwords in ontology_manager.py

Ouverte
#4 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
9
Forks
6
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

Improve the stopwords list in ontology_manager.py for example using https://github.com/rspeer/wordfreq.

This allows us to do better lexicon. For example, words like "best" and "much" are stopwords and should not be returned as NER/PII entities.

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Ouvrez ontology_manager.py et examinez comment sa liste de mots vides est définie et utilisée lors de la production d’entités NER/PII. Examinez l’approche wordfreq liée dans l’issue, puis vérifiez que des exemples tels que "best" et "much" sont traités comme des mots vides et ne sont plus renvoyés comme des entités.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
security
Type d'issue
Bug
Difficulté
2/5
Temps estimé
1-3 heures
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
45/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.