How to choose between models for the 512GB max m3ultra
Đang mở
- Ngôn ngữ chính
- C
- Star
- 22.4k
- Fork
- 2.1k
- Merge trung bình
- 1 ngày 3 giờ
- Pull request đã merge (30 ngày)
- 4
Mô tả
I can see there is different prefill and tokens/sec but how much smarter is pro-imatrix vs q4-imatrix? also how about q2-q4-imatrix? any insight is much appreciated.
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.