aboutcode-org / aboutcode-org/scancode-toolkit

[GSoC] Train DeBERTa NER model for required phrase prediction

Ouverte
#5,137 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
GSoC
Langage dominant
Python
Étoiles
2.6k
Forks
791
Merge moyen
1 j 12 h
PR mergées (30 j)
5

Description

continuation of #5077. uses the BIOES dataset produced there

## Goal
Finetune DeBERTa-v3-large to predict required phrase spans in license rule text using BIOES labels

## Tasks
- Subword tokenization with label alignment (-100 for continuation tokens)
- Training with class-weighted loss (handle O vs B/I/E/S imbalance)
- Include negative samples (rules without markers, all-O labels) for balanced training
- Evaluation: token F1, exact span match
- ONNX export for CPU inference

Guide de contribution

Ouvrir le guide de contribution

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.