allenai / allenai/nlpstack

Tokenizer fails on input

Aperta
#127 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Scala
Stelle
43
Fork
8
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Kevin says:

> Turns out that line has a weird ^F character in it:
> Animals with webbed feet are better able to move through water .

This kills the tokenizer.

(But the ^F character might have gotten obliterated by copy and paste, so to report, put it back in manually.)

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.