anarchy-ai / anarchy-ai/LLM-VM

Implement FSDP for training large datasets

Ouverte
#218 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
feat/enhancement
Langage dominant
Python
Étoiles
490
Forks
139
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

Definition of done:
Implement training large models using FSDP to accelerate training on large datasets.

Reference: https://pytorch.org/blog/introducing-pytorch-fully-sharded-data-parallel-api/

Guide de contribution

Ouvrir le guide de contribution

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.