anarchy-ai / anarchy-ai/LLM-VM
Implement FSDP for training large datasets
Abierto
feat/enhancement
- Lenguaje dominante
- Python
- Estrellas
- 490
- Forks
- 139
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
Definition of done:
Implement training large models using FSDP to accelerate training on large datasets.
Reference: https://pytorch.org/blog/introducing-pytorch-fully-sharded-data-parallel-api/
Guía de contribución
Evaluación
Este issue todavía no se ha evaluado.