bigscience-workshop / bigscience-workshop/pii_processing

add backtrans for regex pipeline

オープン
#6 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
9
フォーク
6
PR マージ指標
30日以内にマージされた PR はありません

説明

in test_regex.py, add ability to do backtrans, first trans to english, perform ner, then translate back to target_lang, and match the ner entity between back transed text and original text.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

test_regex.py から始め、既存の正規表現パイプラインを読んで、翻訳と NER のエントリーポイントを特定します。現在のテストフローを追跡し、その後、英語に翻訳し、NER を実行し、target_lang に再翻訳し、再翻訳されたテキストと元のテキストの間でエンティティを照合することを確認します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python
領域
security
issue の種類
機能追加
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。