anarchy-ai / anarchy-ai/LLM-VM
Implement FSDP for training large datasets
Ouverte
feat/enhancement
- Langage dominant
- Python
- Étoiles
- 490
- Forks
- 139
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
Definition of done:
Implement training large models using FSDP to accelerate training on large datasets.
Reference: https://pytorch.org/blog/introducing-pytorch-fully-sharded-data-parallel-api/
Guide de contribution
Ouvrir le guide de contribution
Évaluation
Cette issue n'a pas encore été évaluée.