Lemmatization issues [Italian][Spanish][French]
- Dominant language
- Python
- Stars
- 33.9k
- Forks
- 4.7k
- Avg merge
- 3m
- Merged PRs (30d)
- 1
Description
Hello,
As a follow up on #11298 #11347, I would like to report some lemmatization problems with the spaCy 3.6 models for Italian, Spanish and French. We did not have these issues with the 3.2 version.
## How to reproduce the behaviour
Here are some examples:
| Language | Text | Returned Lemma | Expected Lemma |
| -------- | ------------------------------------------- | -------------- | -------------- |
| it | efficiente e **cortesissima**. | corteso | cortese |
| it | **Voglio** **disabbonarmi | Voglio | volere |
| it | Voglio **disabbonaremi** | disabbonare | disabbonare |
| it | **Bella** | Bella | bello |
| it | **Perde** il colore | Perdere | perdere |
| it | **Filtrare** | Filtrare | filtrare |
| it | Non si **restringono** al lavaggio | restringono | restringere |
| it | **Cassiera** gentile | Cassiera | cassiera |
| it | **Trovo** sempre un sacco | Trovo | trovare |
| it | **prodotto** ottimo | produrre | prodotto |
| it | Buongiorno Ho ricevuto un set di calzini **diverso** da quello da me selezionato nell'ordine Grazie [name] | divergere | diverso |
| it | buono **bebe** | Bebe | bébé |
| it | **Richiedo** la fatturazione elettronica | Richiedo | richiedere |
| it | **Cercavo** una felpina | Cercavo | cercare |
| it | Cercavo una **felpina** | felpino | felpina |
| it | **Manca** lo short blu del set codice 461680 | Manca | mancare |
| it | **Soddisfatta** ma nonostante 2 lavaggi perde ancora pelucchi | soddisfattare | soddisfatto |
| it | **Ben** fatto ma troppo grande | Ben | bene |
| it | **Rapiditá** nella consegna | Rapidità | rapidità |
| it | (**allego** screenshot) | allego | allegare |
| it | Prezzi competitivi **Spedizione** nei tempi previsti Acquistate per il black friday... | Spedizione | spedizione |
| it | **Ottima** merce | Ottimo | ottimo |
| it | quando mi **rimborserete** | rimborsareta | rimborsare |
| it | non **carica** la pagina | carico | caricare |
| it | È possibile avere un contatto o un riferimento del **corriere**? | Corriere | corriere |
| it | Quando **potrò** effettuare il mio acquisto? | potrò | potere |
| it | Quando lo **consegnerete**? | consegnareta | consegnare |
| it | Ok...casomai **rifaccio** l'ordine | rifacciareta | rifare |
| it | Compro sempre ordinando on-line e **ritirando** in negozio, | ritirira | ritirare |
| it | Un po’ **corte** di manica | corte | corto |
| it | Buonasera, mi è arrivato il pacco **contenente** tutto tranne il jeans blu con codice di vendita [number] | contenente | contenere |
| it | che ora **chiudete** | chiudetere | chiudere |
| it | non riesco a **tracciarlo** | tracciare lo | tracciare |
| es | **Problema** con reparto | Problema | problema |
| es | L'**app** esta caída no puedes realizar la compra | L'app | app |
| es | **Fallo** en el uso de la aplicación | Fallo | fallo |
| es | **Contenta** | contentar | contento |
| es | **solicito** BAJA de la suscripción a las newsletters | solicito | solicitar |
| es | "Desde hace 17 años **compro** en Kiabi" | compro | comprar |
| es | **Correcto** | Correcto | correcto |
| es | na cola se **clientes** en espera | clientser | cliente |
| es | Hola a todos: que horarios **tenéis** | tenéis | tener |
| es | **Rapidez** en pedidos | rapidez | Rapidez |
| es | **Mala** prenda | mala | mal / malo |
| es | **Estupendo** | Estupendo | estupendo |
| es | no me lo han enviado pero si **cobrado**. | cobrado | cobrar |
| fr | Bonjour, **Aurez**-vous la parure | Aurez | avoir |
| fr | via le formulaire sur **Internet** | Internet | internet |
| fr | **Jolie** modèle | Jolie | joli |
I guess the issue with tokens on the beginning of sentences (because they are wrongly detected as PROPN) has been already mentioned many times.
## Your Environment
* Python Version Used: 3.10
* spaCy Version Used: 3.6.1
Contributor guide
Assessment
This issue has not been assessed yet.