CentreForDigitalHumanities / CentreForDigitalHumanities/tscan

improve lemmatisation

Open
#63 10 comments 0 reactions 0 assignees View on GitHub
Dominant language
C++
Stars
19
Forks
7
PR merge metrics
No merged PRs in 30d

Description

There are some noticable inaccuracies in the output from the frog lemmatiser (such as `*heden` not being lemmatised to `*heid`), perhaps we can improve the lemmatisation.

One option is to add a different lemmatisation service that can be used instead of frog. We should investigate if there is a lemmatiser for Dutch with significantly better results.

Another option is to use some combination of the frog and alpino output for the final lemmatisation. Suggestion from @oktaal

> Interessant genoeg lijkt de Alpino-parse in dit geval wel "gedweeheid" als lemma te vinden maar die informatie wordt niet gebruikt in T-Scan.
>
> Wat ik zou kunnen doen is het lemma-attribuut van de Alpino-parse te gebruiken als (1) het lemma van frog hetzelfde is als het woord (dus geen lemmatisering) en (2) het lemma van Alpino wel afwijkt. Als beide een lemma hebben dat afwijkt van het woord dan is Frog leidend. Als Frog correct ziet dat het lemma hetzelfde is als het woord en Alpino er toch wat anders van heeft gemaakt dan introduceert dat dan wel een fout.
>
> Ik vraag me af in hoeverre hier nieuwe problemen kunnen ontstaan, idealiter zou je dit willen kunnen evalueren. Misschien moet dit een optie worden (lemma-informatie: alleen Frog (nu het geval), alleen Alpino, Frog met Alpino-fallback, Alpino met Frog-fallback).

Contributor guide

No contributing guide indexed for this repository

Research direction

Start by comparing the current Frog lemmatisation with the Alpino output for cases such as `*heden` and `*heid`. Investigate whether a Dutch lemmatiser or a Frog/Alpino fallback strategy gives better results, and define an evaluation approach before choosing an implementation.

Written by the indexing model from the issue text.

Assessment

Tech stack
cpp
Domain
data
Issue type
Bug
Difficulty
5/5
Estimated time
Over a week
Activity status
Stale
Clarity
Needs clarification
Newbie friendliness
25/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.