AI-Hypercomputer / AI-Hypercomputer/maxtext
`attend_dtype` not used
Offen
#531
1 Kommentar
0 Reaktionen
1 zugewiesene Person
Beansprucht von @khatwanimohit
Auf GitHub ansehen
bug
- Vorherrschende Sprache
- Python
- Sterne
- 2.4k
- Forks
- 607
- Ø Merge
- 2 T. 19 Std.
- Gemergte PRs (30 T.)
- 158
Beschreibung
[Here](https://github.com/google/maxtext/blob/5353a957594bd6cf316747cd5a327c163caca74f/MaxText/layers/embeddings.py#L102-L103) it seems that the hard-coded `bfloat16` is used instead of `attend_dtype`. Also `query` is not cast. I guess the correct behavior should be casting both `query` and `self.embedding` to `attend_dtype`?
Beitragsleitfaden
Bewertung
Dieses Issue wurde noch nicht bewertet.