huggingface / huggingface/diffusers
[Bug] ChatGLMTokenizer special token property getters and setters are broken
- Vorherrschende Sprache
- Python
- Sterne
- 34.5k
- Forks
- 7.3k
- Ø Merge
- 3 T. 3 Std.
- Gemergte PRs (30 T.)
- 91
Beschreibung
### Describe the bug
In `ChatGLMTokenizer` (`src/diffusers/pipelines/kolors/tokenizer.py`), the property getters for `pad_token`, `unk_token`, and `eos_token` hardcode return values (e.g. `pad_token` returns `""` instead of `""`). Furthermore, assigning new special token values (e.g. `tokenizer.pad_token = ""`) has no effect on the property getter because the custom setters update private attributes (`_pad_token`) while the getters ignore them or use hardcoded strings.
### Reproduction
```python
from diffusers.pipelines.kolors import ChatGLMTokenizer
# Instantiating ChatGLMTokenizer or viewing properties
# tokenizer.pad_token returns '' instead of ''
# Setting tokenizer.pad_token = '' does not update tokenizer.pad_token
```
### System Info
- Diffusers version: 0.36.0.dev0
- Python version: 3.11
- PyTorch version: 2.x
### Who can help?
@yiyixuxu @asomoza @DN6
Beitragsleitfaden
Rechercherichtung
Öffne src/diffusers/pipelines/kolors/tokenizer.py und untersuche die Eigenschaften pad_token, unk_token und eos_token von ChatGLMTokenizer. Reproduziere die gemeldeten Standardwerte und Zuweisungen wie tokenizer.pad_token = "". Erledigt bedeutet, dass die Getter die korrekten Standardwerte zurückgeben und über ihre Setter zugewiesene Werte widerspiegeln.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, pytorch
- Bereich
- machine-learning
- Issue-Typ
- Bug
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Aktivitätsstatus
- Ruhig
- Klarheit
- Klar beschrieben
- Anfängerfreundlichkeit
- 84/100