explosion / explosion/spaCy

Problems and errors in new German lemmatizer (since 3.3.0)

Open
#10,953 6 comments 0 reactions 0 assignees View on GitHub
feat / lemmatizer lang / de
Dominant language
Python
Stars
33.9k
Forks
4.7k
Avg merge
3m
Merged PRs (30d)
1

Description

For some context, here was the master issue for problems in lemmatization for the lookup-based lemmatizer for German: https://github.com/explosion/spaCy/issues/2486 And here was the announcement that German would be prioritized for improving lemmatization, among other languages: https://github.com/explosion/spaCy/issues/2668 And [since version 3.3.0](https://explosion.ai/blog/spacy-v3-3#pipeline-updates), the default lemmatizer in German is a [edit tree lemmatizer](https://explosion.ai/blog/edit-tree-lemmatizer). The accuracy went from [73.43%](https://github.com/explosion/spacy-models/releases/tag/de_core_news_md-3.0.0) in the medium pipeline version 3.0.0 to
[97.71%](https://github.com/explosion/spacy-models/releases/tag/de_core_news_md-3.3.0) in 3.3.0, which is of course, amazing.

To start documenting its shortcomings, I list some error cases. Of course, this new lemmatizer is trainable and I could just go ahead and train a new version myself. I don't intend to do that. I hope someone else can benefit from looking into these specific errors, and they may reveal fixable patterns that can be addressed with a "better" training data set.

| sentence | predicted lemma |
| ------ | ------ |
| Wir **Königinnen** dürfen nicht nach unsen Herzen wählen ... | königinn |
| Du **kannst** froh sein , wenn du nicht Bartgesicht Kennedy verlierst ! | kannsen |
| Leise , du **störst** mich . | störstn |
| Du **sorgst** dich um mich ? | sorgstn |
| Du **überzeugst** uns durch deine analytischen und konzeptionellen Fähigkeiten | überzeugstn |
| Weiterhin **erfüllst** Du folgende Anforderungen : | erfüllsen |
| Du **stärkst** Selbstorganisation und Eigenverantwortlichkeit deines Teams . | stäreksten (!) |
| Er **zitterte** vor Sorge . | zitteren |
| Entschuldigung , dass ich Sie solange **aufhalte** , aber ... | aufhaln (!) |
| Der Gärtner , den sie hatten , **verstünde** nichts . | verstünden |
| So etwas **lächerliches** zu erfinden , ich schäme mich für Sie . | lächerlicher |
| Du **kümmerst** Dich nach Absprache mit um unsere Social Media Tools . | kümmeren |
| Und du in meinen **Träumen** . | träum |
| Aber ich merke nichts davon , dass du mit mir ausgehst . | aushsen (!!) |

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.