Multi-GPU for nvidia
Đang mở
cuda
distributed-inference
ideas-to-explore
- Ngôn ngữ chính
- C
- Star
- 22.4k
- Fork
- 2.1k
- Merge trung bình
- 1 ngày 3 giờ
- Pull request đã merge (30 ngày)
- 4
Mô tả
Any interest in implementing multi-gpu CUDA setups? I have a 4x3090 + 128GB RAM I would love to use with these quants, since other quants are currently lacking in accuracy or just straight up don't exist.
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.