CentreForDigitalHumanities / CentreForDigitalHumanities/tscan
improve lemmatisation
- Dominant language
- C++
- Stars
- 19
- Forks
- 7
- PR merge metrics
- No merged PRs in 30d
Description
There are some noticable inaccuracies in the output from the frog lemmatiser (such as `*heden` not being lemmatised to `*heid`), perhaps we can improve the lemmatisation.
One option is to add a different lemmatisation service that can be used instead of frog. We should investigate if there is a lemmatiser for Dutch with significantly better results.
Another option is to use some combination of the frog and alpino output for the final lemmatisation. Suggestion from @oktaal
> Interessant genoeg lijkt de Alpino-parse in dit geval wel "gedweeheid" als lemma te vinden maar die informatie wordt niet gebruikt in T-Scan.
>
> Wat ik zou kunnen doen is het lemma-attribuut van de Alpino-parse te gebruiken als (1) het lemma van frog hetzelfde is als het woord (dus geen lemmatisering) en (2) het lemma van Alpino wel afwijkt. Als beide een lemma hebben dat afwijkt van het woord dan is Frog leidend. Als Frog correct ziet dat het lemma hetzelfde is als het woord en Alpino er toch wat anders van heeft gemaakt dan introduceert dat dan wel een fout.
>
> Ik vraag me af in hoeverre hier nieuwe problemen kunnen ontstaan, idealiter zou je dit willen kunnen evalueren. Misschien moet dit een optie worden (lemma-informatie: alleen Frog (nu het geval), alleen Alpino, Frog met Alpino-fallback, Alpino met Frog-fallback).
Contributor guide
No contributing guide indexed for this repository
Research direction
Start by comparing the current Frog lemmatisation with the Alpino output for cases such as `*heden` and `*heid`. Investigate whether a Dutch lemmatiser or a Frog/Alpino fallback strategy gives better results, and define an evaluation approach before choosing an implementation.
Written by the indexing model from the issue text.
Assessment
- Tech stack
- cpp
- Domain
- data
- Issue type
- Bug
- Difficulty
- 5/5
- Estimated time
- Over a week
- Activity status
- Stale
- Clarity
- Needs clarification
- Newbie friendliness
- 25/100