BuilderIO/gpt-crawler
View on GitHubCrawl a site to generate knowledge files to create your own custom GPT from a URL
- Stars
- 22.4k
- Forks
- 2.4k
- Open beginner issues
- 0
- Indexed issues
- 96
- Dominant language
- TypeScript
- License
- ISC
- Last GitHub push
- Jul 7, 2025
- Latest indexed
- Sep 14, 2026
- Contributing guide
- No contributing guide
- Code of conduct
- No code of conduct
- Beginner labels
- No beginner labels indexed
- PR merge metrics
- No merged PRs in 30d
-
Wildcard support Open
BuilderIO/gpt-crawler#7 · 1 comment · 0 reactions · 0 assignees ·
-
Exclude directories Open
BuilderIO/gpt-crawler#9 · 2 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#17 · 1 comment · 2 reactions · 0 assignees ·
-
Selector help Open
BuilderIO/gpt-crawler#19 · 1 comment · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#22 · 1 comment · 3 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#23 · 0 comments · 0 reactions · 0 assignees ·
-
Scrap website Open
BuilderIO/gpt-crawler#29 · 0 comments · 1 reaction · 0 assignees ·
-
BuilderIO/gpt-crawler#30 · 3 comments · 4 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#32 · 5 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#35 · 1 comment · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#39 · 2 comments · 1 reaction · 0 assignees ·
-
BuilderIO/gpt-crawler#51 · 6 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#53 · 1 comment · 2 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#55 · 1 comment · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#57 · 1 comment · 1 reaction · 0 assignees ·
-
BuilderIO/gpt-crawler#61 · 0 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#64 · 0 comments · 2 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#65 · 0 comments · 1 reaction · 0 assignees ·
-
BuilderIO/gpt-crawler#70 · 0 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#71 · 1 comment · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#73 · 0 comments · 0 reactions · 0 assignees ·
-
FR: preserve links Open
BuilderIO/gpt-crawler#74 · 0 comments · 1 reaction · 0 assignees ·
-
Size Open
BuilderIO/gpt-crawler#77 · 3 comments · 3 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#78 · 1 comment · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#79 · 2 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#80 · 0 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#81 · 0 comments · 0 reactions · 0 assignees ·
-
Multiple concurrent crawler with split output. Asking if there is interest in completing my Fork. Open
BuilderIO/gpt-crawler#82 · 0 comments · 2 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#83 · 3 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#84 · 6 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#85 · 5 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#87 · 3 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#91 · 5 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#92 · 0 comments · 1 reaction · 0 assignees ·
-
BuilderIO/gpt-crawler#93 · 0 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#94 · 0 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#95 · 2 comments · 0 reactions · 0 assignees ·
-
Invalid filename Open
BuilderIO/gpt-crawler#98 · 0 comments · 0 reactions · 0 assignees ·
-
Crawl picture Open
BuilderIO/gpt-crawler#99 · 0 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#100 · 1 comment · 1 reaction · 0 assignees ·
-
BuilderIO/gpt-crawler#103 · 0 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#104 · 0 comments · 1 reaction · 0 assignees ·
-
BuilderIO/gpt-crawler#107 · 3 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#108 · 0 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#110 · 1 comment · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#111 · 3 comments · 2 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#112 · 0 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#113 · 7 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#115 · 0 comments · 0 reactions · 0 assignees ·
-
BuilderIO/gpt-crawler#117 · 0 comments · 0 reactions · 0 assignees ·