bigscience-workshop / bigscience-workshop/pii_processing
improve stopwords in ontology_manager.py
Abierto
- Lenguaje dominante
- Python
- Estrellas
- 9
- Forks
- 6
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
Improve the stopwords list in ontology_manager.py for example using https://github.com/rspeer/wordfreq.
This allows us to do better lexicon. For example, words like "best" and "much" are stopwords and should not be returned as NER/PII entities.
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Abre ontology_manager.py e inspecciona cómo se define su lista de palabras vacías y cómo se utiliza al producir entidades NER/PII. Revisa el enfoque de wordfreq enlazado en el issue y verifica que ejemplos como "best" y "much" se traten como palabras vacías y ya no se devuelvan como entidades.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- security
- Tipo de issue
- Error
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 45/100