bigscience-workshop / bigscience-workshop/data_tooling

Improve lexicon and ontology_manager.py

Abierto
#274 0 comentarios 0 reacciones 0 asignados Ver en GitHub
PII
Lenguaje dominante
HTML
Estrellas
91
Forks
47
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

Currently ontology_manager.py using a pattern match to find words potentially in a lexicon/ontology. You might want to have an exact dictionary to do a lexcion match, like "Barack Obama": "PUBLIC_FIGURE". Also, we need to incorporate better stop words and language specific stopwords to prevent the infering a word belongs in the lexicon when it's a stop words (like "maybe", "must", etc.)

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.