How to choose between models for the 512GB max m3ultra
Offen
- Vorherrschende Sprache
- C
- Sterne
- 22.4k
- Forks
- 2.1k
- Ø Merge
- 1 T. 3 Std.
- Gemergte PRs (30 T.)
- 4
Beschreibung
I can see there is different prefill and tokens/sec but how much smarter is pro-imatrix vs q4-imatrix? also how about q2-q4-imatrix? any insight is much appreciated.
Beitragsleitfaden
Bewertung
Dieses Issue wurde noch nicht bewertet.