huggingface / huggingface/paperswithcode-feedback

[Dataset Request] Add Privy — PII detection in structured payloads

Aperta
#32 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Nessun dato sulla lingua
Stelle
10
Fork
1
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Hi! I'd like to request indexing the **Privy** dataset and a leaderboard for **PII Detection** (structured / code-adjacent text).

### Dataset
- **HF:** [`piimb/privy`](https://huggingface.co/datasets/piimb/privy) — a duplicate of the authoritative [`beki/privy`](https://huggingface.co/datasets/beki/privy) (cite `beki/privy` for metadata)
- **Origin:** Benjamin Kilimnik (2022), part of the Pixie project — generator at https://github.com/pixie-io/pixie/tree/main/src/datagen/pii/privy ; write-up https://blog.px.dev/detect-pii/
- **Size:** ~308 MB (HF size category 100K–1M rows)
- **Distinctive:** PII embedded in **JSON / SQL / XML / HTML** payloads (not prose)
- **Labels:** 26 labels covering 60+ PII data providers (PERSON, CREDIT_CARD, US_SSN, IBAN_CODE, IP_ADDRESS, etc.); token/span labeled
- **Task:** PII Detection in structured/semi-structured text
- **Primary metric:** entity/span-level F1
- **License:** MIT

### Suggested results to seed the leaderboard
Verified from the model card:

| Model | Metric | F1 | Source |
|---|---|---|---|
| `beki/en_spacy_pii_distilbert` (spaCy transformer NER) | entity-level F (spaCy scorer) | **0.954** (P 0.953 / R 0.955) | [card](https://huggingface.co/beki/en_spacy_pii_distilbert) |
| `beki/flair-pii-distilbert` (Flair) | F1 | 0.9522 | [card](https://huggingface.co/beki/flair-pii-distilbert) |

⚠️ **Caveat:** both models were trained/evaluated on a **reduced 5-class** subset (PER, LOC, ORG, DATE_TIME, NRP), not the dataset's full 26-label set — so 0.954 is *not* full-PII-coverage F1. Note this when seeding the leaderboard. More entries can be imported from `pwc-archive/evaluation-tables` if present.

### Note
Fills a real gap — most PII benchmarks are prose; Privy tests detection inside structured payloads (SQL/JSON/XML/HTML). Thanks!

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia esaminando i metadati del dataset Privy in beki/privy e le due model card collegate, quindi analizza gli entry point esistenti di questo repository per l’indicizzazione di dataset e leaderboard. Il lavoro è completo quando Privy è indicizzato per il rilevamento di PII strutturate/semistrutturate, sono presenti le voci richieste nella leaderboard dello span-level F1 ed è indicato esplicitamente che gli score iniziali usano una valutazione ridotta a cinque classi.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
huggingface
Ambito
data, machine-learning
Tipo di issue
Funzionalità
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
64/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.