allenai / allenai/nlpstack

Tokenizer fails on input

Offen
#127 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Scala
Sterne
43
Forks
8
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Kevin says:

> Turns out that line has a weird ^F character in it:
> Animals with webbed feet are better able to move through water .

This kills the tokenizer.

(But the ^F character might have gotten obliterated by copy and paste, so to report, put it back in manually.)

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.