bigscience-workshop / bigscience-workshop/pii_processing

add custom lexicon

Abierto
#5 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
9
Forks
6
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

Add a custom lexicon to test_regex.py or even better to ontology_manager.py. Currently ontology_manager.py using a pattern match to find words potentially in a lexicon/ontology. You might want to have an exact dictionary to do a lexcion match, like "Barack Obama": "PUBLIC_FIGURE"}

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Empieza leyendo test_regex.py y ontology_manager.py, especialmente el flujo actual de pattern matching para términos de léxico u ontología. Sigue cómo se clasifica un término detectado, después define el comportamiento del diccionario personalizado usando el ejemplo proporcionado y añade cobertura para la coincidencia exacta. Se considera terminado cuando las entradas personalizadas se reconocen con sus labels configurados sin romper la coincidencia existente.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
security
Tipo de issue
Nueva funcionalidad
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.