huggingface / huggingface/diffusers

[Bug] ChatGLMTokenizer special token property getters and setters are broken

Offen Anfängerfreundlich
#14,291 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
34.5k
Forks
7.3k
Ø Merge
3 T. 3 Std.
Gemergte PRs (30 T.)
91

Beschreibung

### Describe the bug

In `ChatGLMTokenizer` (`src/diffusers/pipelines/kolors/tokenizer.py`), the property getters for `pad_token`, `unk_token`, and `eos_token` hardcode return values (e.g. `pad_token` returns `""` instead of `""`). Furthermore, assigning new special token values (e.g. `tokenizer.pad_token = ""`) has no effect on the property getter because the custom setters update private attributes (`_pad_token`) while the getters ignore them or use hardcoded strings.

### Reproduction

```python
from diffusers.pipelines.kolors import ChatGLMTokenizer

# Instantiating ChatGLMTokenizer or viewing properties
# tokenizer.pad_token returns '' instead of ''
# Setting tokenizer.pad_token = '' does not update tokenizer.pad_token
```

### System Info

- Diffusers version: 0.36.0.dev0
- Python version: 3.11
- PyTorch version: 2.x

### Who can help?

@yiyixuxu @asomoza @DN6

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Öffne src/diffusers/pipelines/kolors/tokenizer.py und untersuche die Eigenschaften pad_token, unk_token und eos_token von ChatGLMTokenizer. Reproduziere die gemeldeten Standardwerte und Zuweisungen wie tokenizer.pad_token = "". Erledigt bedeutet, dass die Getter die korrekten Standardwerte zurückgeben und über ihre Setter zugewiesene Werte widerspiegeln.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, pytorch
Bereich
machine-learning
Issue-Typ
Bug
Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Aktivitätsstatus
Ruhig
Klarheit
Klar beschrieben
Anfängerfreundlichkeit
84/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.