explosion / explosion/spaCy

Italian tagger and lemmatizer performance dropped with the new v3.4 version

Open
#11,298 2 comments 0 reactions 0 assignees View on GitHub
feat / lemmatizer feat / tagger lang / it perf / accuracy
Dominant language
Python
Stars
33.9k
Forks
4.7k
Avg merge
3m
Merged PRs (30d)
1

Description

Hello,

I've recently upgraded the spaCy pretrained models from v3.2 to 3.4, but I found that the tagger and lemmatizer performance dropped significantly for italian and spanish.

I've prepared a table to show some examples for italian, along with the expected output (lemma, POS)

| Text | Word analysed | Lemma detected | Lemma expected | Pos detected | Pos expected |
|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|---------------|----------------|----------------|--------------|--------------|
| efficiente e cortesissima. | cortesissima | cortesissima | cortese | ADJ | ADJ |
| "Voglio disabbonarmi Newsletter | | | | | |
| Non voglio che mi mandate le vostre email" | Voglio | Voglio | volere | PRON | VERB |
| "Il tracking dell' ordine | | | | | |
| non è ancora arrivato ed inoltre non riesco a tracciarlo. " | tracciarlo | tracciare lo | tracciare | VERB | VERB |
| | Potete | Potete | potere | AUX | VERB |
| Negozio pulito e ben fornito Cassiera gentile | Cassiera | Cassiera | cassiere | PROPN | NOUN |
| Ho il buono bebe come posso utilizzarlo ed entro quando? | come | come | come | ADP | ADV |
| | posso | potere | potere | AUX | VERB |
| | utilizzarlo | utilizzare lo | utilizzare | VERB | VERB |
| "I: Il tuo ordine è ancora disponibile | | | | | |
| Spedizione gratis" | Spedizione | Spedizione | spedizione | NOUN | NOUN |
| | gratis | gratis | gratis | ADV | ADJ |
| Aprite altri centri Kiabi verso il centro di [city].. | Aprite | Aprite | aprire | VERB | VERB |
| | altri | altro | altro | DET | ADJ |
| che ora chiudete | che | che | che | PRON | DET |
| | chiudete | chiudetere | chiudere | VERB | VERB |
| Negozi in provincia di [city]? | Negozi | Negozi | negozio | NOUN | NOUN |
| Staff gentilissimo e disponibile. | gentilissimo | gentilo | gentile | ADJ | ADJ |
| Perfette | Perfette | Perfetta | perfetto | NOUN | ADJ |
| Trovo sempre un sacco di cose per mio figlio e i prezzi sono rimasti gli stessi | Trovo | Trovare | trovare | VERB | VERB |
| Richiedo la fatturazione elettronica dei seguenti ordini N° [number] N° [number] [name] Bevande | Richiedo | Richiedo | richiedere | VERB | VERB |
| Cercavo una felpina nuova collezione e già non avevano più neanche una | Cercavo | Cercavo | cercare | VERB | VERB |
| Consegna più veloce del previsto e vestiti neonato stupendi e di buona qualità | Consegna | consegnare | consegna | VERB | NOUN |
| | previsto | prevedere | previsto | NOUN | NOUN |
| | neonato | neonare | neonato | VERB | NOUN |
| | | | | | |

Some lemma are in uppercase, is there any reason that explains it ?

Thank you!

## Your Environment

* Python Version Used: 3.8
* spaCy Version Used: 3.4

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.