bigscience-workshop / bigscience-workshop/data_tooling

Improve lexicon and ontology_manager.py

Aperta
#274 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
PII
Lingua principale
HTML
Stelle
91
Fork
47
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Currently ontology_manager.py using a pattern match to find words potentially in a lexicon/ontology. You might want to have an exact dictionary to do a lexcion match, like "Barack Obama": "PUBLIC_FIGURE". Also, we need to incorporate better stop words and language specific stopwords to prevent the infering a word belongs in the lexicon when it's a stop words (like "maybe", "must", etc.)

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Start by reading ontology_manager.py and trace the current pattern-based lexicon or ontology matching. Determine where exact dictionary matching and stop-word filtering belong; done means matching supports entries such as "Barack Obama": "PUBLIC_FIGURE" and excludes general and language-specific stop words such as "maybe" and "must".

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
data
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.