AI-Hypercomputer / AI-Hypercomputer/maxtext
Support LoRA training
Aperta
feature request
- Lingua principale
- Python
- Stelle
- 2.4k
- Fork
- 607
- Merge medio
- 2g 19h
- PR unite (30g)
- 158
Descrizione
Is there a plan to support PEFT methods like LoRA training in maxtext to support larger model fine-tuning / continue pretraining so that bigger models like LLaMA-3-70B can be trainined even with small amount of TPU/GPUs?
Guida per i contributori
Apri la guida per i contributori
Valutazione
Questa issue non è ancora stata valutata.