bigscience-workshop / bigscience-workshop/pii_processing

add custom lexicon

Offen
#5 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
9
Forks
6
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Add a custom lexicon to test_regex.py or even better to ontology_manager.py. Currently ontology_manager.py using a pattern match to find words potentially in a lexicon/ontology. You might want to have an exact dictionary to do a lexcion match, like "Barack Obama": "PUBLIC_FIGURE"}

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit dem Lesen von test_regex.py und ontology_manager.py, insbesondere des aktuellen Pfads für den Pattern-Matching von Lexikon- oder Ontologiebegriffen. Verfolge, wie ein erkannter Begriff klassifiziert wird, definiere dann anhand des bereitgestellten Beispiels das Verhalten des benutzerdefinierten Wörterbuchs und füge Tests für das exakte Matching hinzu. Als erledigt gilt die Aufgabe, wenn benutzerdefinierte Einträge mit ihren konfigurierten Labels erkannt werden, ohne das bestehende Matching zu beeinträchtigen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
security
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.