anarchy-ai / anarchy-ai/LLM-VM

Implement FSDP for training large datasets

オープン
#218 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
feat/enhancement
主要言語
Python
スター
490
フォーク
139
PR マージ指標
30日以内にマージされた PR はありません

説明

Definition of done:
Implement training large models using FSDP to accelerate training on large datasets.

Reference: https://pytorch.org/blog/introducing-pytorch-fully-sharded-data-parallel-api/

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。