allenai / allenai/scibert

max_len returns unexpected value

Aperta
#93 0 commenti 2 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
1.7k
Fork
232
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Hi,

I noticed something weird about the `max_len` attribute of the `tokenizer`

```python
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("allenai/scibert_scivocab_uncased")
print(tokenizer.max_len) # => 1000000000000000019884624838656
```

Whereas I expected it to be 512, as in

```python
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
print(tokenizer.max_len) # => 512
```

is this a bug? Or is `max_len` not the appropriate attribute to use if I want to know the max length for the inputs of the model?

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.