bigscience-workshop / bigscience-workshop/pii_processing
add backtrans for regex pipeline
Offen
- Vorherrschende Sprache
- Python
- Sterne
- 9
- Forks
- 6
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
in test_regex.py, add ability to do backtrans, first trans to english, perform ner, then translate back to target_lang, and match the ner entity between back transed text and original text.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne in test_regex.py und lies die bestehende Regex-Pipeline, um ihre Einstiegspunkte für Übersetzung und NER zu identifizieren. Verfolge den aktuellen Testablauf und überprüfe anschließend, dass sie ins Englische übersetzt, NER ausführt, zurück in target_lang übersetzt und Entitäten zwischen dem rückübersetzten und dem ursprünglichen Text abgleicht.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- security
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100