karpathy/minbpe
View on GitHubMinimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.
- Stars
- 10.7k
- Forks
- 1.1k
- Open beginner issues
- 0
- Indexed issues
- 34
- Dominant language
- Python
- License
- MIT
- Last GitHub push
- Apr 22, 2024
- Latest indexed
- Sep 18, 2026
- Contributing guide
- No contributing guide
- Code of conduct
- No code of conduct
- Beginner labels
- No beginner labels indexed
- PR merge metrics
- No merged PRs in 30d
-
Faster BPE Open
karpathy/minbpe#5 · 11 comments · 3 reactions · 0 assignees ·
-
karpathy/minbpe#8 · 2 comments · 2 reactions · 0 assignees ·
-
karpathy/minbpe#11 · 5 comments · 9 reactions · 0 assignees ·
-
karpathy/minbpe#15 · 0 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#25 · 3 comments · 1 reaction · 0 assignees ·
-
karpathy/minbpe#30 · 1 comment · 0 reactions · 0 assignees ·
-
Byte2Byte Tokenizer Open
karpathy/minbpe#37 · 0 comments · 1 reaction · 0 assignees ·
-
karpathy/minbpe#44 · 0 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#45 · 0 comments · 3 reactions · 0 assignees ·
-
Alternative to bpe Open
karpathy/minbpe#50 · 16 comments · 2 reactions · 0 assignees ·
-
karpathy/minbpe#51 · 5 comments · 1 reaction · 0 assignees ·
-
karpathy/minbpe#56 · 1 comment · 0 reactions · 0 assignees ·
-
karpathy/minbpe#58 · 3 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#59 · 0 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#60 · 0 comments · 0 reactions · 0 assignees ·
-
Would using prompts that contain concatenated words to reduce token count negatively affect results Open
karpathy/minbpe#61 · 0 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#64 · 0 comments · 1 reaction · 0 assignees ·
-
karpathy/minbpe#66 · 2 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#69 · 2 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#70 · 0 comments · 1 reaction · 0 assignees ·
-
karpathy/minbpe#73 · 3 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#74 · 1 comment · 0 reactions · 0 assignees ·
-
karpathy/minbpe#77 · 1 comment · 0 reactions · 0 assignees ·
-
OSS-Fuzz Integration Open
karpathy/minbpe#80 · 0 comments · 0 reactions · 0 assignees ·
-
LLM as calc Open
karpathy/minbpe#81 · 0 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#85 · 1 comment · 2 reactions · 0 assignees ·
-
karpathy/minbpe#87 · 5 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#93 · 0 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#100 · 1 comment · 2 reactions · 0 assignees ·
-
get_gpt4_merges() Open
karpathy/minbpe#105 · 0 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#114 · 2 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#115 · 0 comments · 0 reactions · 0 assignees ·
-
karpathy/minbpe#118 · 0 comments · 0 reactions · 0 assignees ·