AnswerDotAI/fsdp_qlora
View on GitHubTraining LLMs with QLoRA + FSDP
- Stars
- 1.6k
- Forks
- 201
- Open beginner issues
- 0
- Indexed issues
- 32
- Dominant language
- Jupyter Notebook
- License
- Apache-2.0
- Last GitHub push
- Jun 13, 2024
- Latest indexed
- Sep 14, 2026
- Contributing guide
- No contributing guide
- Code of conduct
- No code of conduct
- Beginner labels
- No beginner labels indexed
- PR merge metrics
- No merged PRs in 30d
-
AnswerDotAI/fsdp_qlora#22 · 2 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#24 · 39 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#26 · 1 comment · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#29 · 4 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#31 · 0 comments · 0 reactions · 0 assignees ·
-
Torch Compile? Open
AnswerDotAI/fsdp_qlora#34 · 0 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#37 · 3 comments · 0 reactions · 0 assignees ·
-
Bigger context size? Open
AnswerDotAI/fsdp_qlora#38 · 0 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#40 · 0 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#42 · 0 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#43 · 1 comment · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#44 · 0 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#45 · 6 comments · 0 reactions · 0 assignees ·
-
how to inference using 70b? or we need to implement it with the same way to train it by ourself? Open
AnswerDotAI/fsdp_qlora#46 · 1 comment · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#47 · 4 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#48 · 0 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#49 · 1 comment · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#50 · 0 comments · 0 reactions · 0 assignees ·
-
llama3? Open
AnswerDotAI/fsdp_qlora#53 · 0 comments · 6 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#55 · 0 comments · 0 reactions · 0 assignees ·
-
BOFT support? Open
AnswerDotAI/fsdp_qlora#56 · 0 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#57 · 0 comments · 0 reactions · 0 assignees ·
-
DeepSeek VL support Open
AnswerDotAI/fsdp_qlora#58 · 0 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#59 · 0 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#60 · 4 comments · 0 reactions · 0 assignees ·
-
ValueError report Open
AnswerDotAI/fsdp_qlora#61 · 0 comments · 0 reactions · 0 assignees ·
-
train.py Open
AnswerDotAI/fsdp_qlora#63 · 1 comment · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#68 · 0 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#69 · 0 comments · 1 reaction · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#74 · 0 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#75 · 0 comments · 0 reactions · 0 assignees ·
-
AnswerDotAI/fsdp_qlora#76 · 7 comments · 0 reactions · 0 assignees ·