AI-Hypercomputer / AI-Hypercomputer/maxtext
Support LoRA training
Đang mở
feature request
- Ngôn ngữ chính
- Python
- Star
- 2.4k
- Fork
- 607
- Merge trung bình
- 2 ngày 19 giờ
- Pull request đã merge (30 ngày)
- 158
Mô tả
Is there a plan to support PEFT methods like LoRA training in maxtext to support larger model fine-tuning / continue pretraining so that bigger models like LLaMA-3-70B can be trainined even with small amount of TPU/GPUs?
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.