AI-Hypercomputer / AI-Hypercomputer/maxtext
Support LoRA training
Aberta
feature request
- Linguagem predominante
- Python
- Estrelas
- 2.4k
- Forks
- 607
- Merge médio
- 2d 19h
- PRs com merge (30d)
- 158
Descrição
Is there a plan to support PEFT methods like LoRA training in maxtext to support larger model fine-tuning / continue pretraining so that bigger models like LLaMA-3-70B can be trainined even with small amount of TPU/GPUs?
Guia de contribuição
Avaliação
Esta issue ainda não foi avaliada.