NanmiCoder / NanmiCoder/MediaCrawler
「我的请求」我创建了一个爬取抖音评论的 skill,有以下问题,请你们帮分析一下
Open
Nobody has claimed this yet.
bug
- Dominant language
- Python
- Stars
- 65.3k
- Forks
- 12.6k
- PR merge metrics
- No merged PRs in 30d
Description
这个 skill 只能够爬取抖音的部分评论。我经过了很多次的修改,但是还是不能成功完全爬取,这是 AI 分析的问题,你们参考能不能解决?
### 【问题如下】:
诊断结果
从测试结果看:
- cursor 是什么?
cursor 是抖音 API 的分页游标,用于标记当前爬取位置
每次请求后,API 返回 next_cursor 作为下次请求的起点
当 has_more=0 时,表示没有更多数据 - cursor 值是确定的吗?
是的! 测试结果显示:
无论增加请求间隔(0.3 秒)
无论使用 sort_type 参数(0, 1, 2)
无论从哪里开始(cursor=900 或 1000)
都在 cursor=900 时停止,只能爬取 901 条一级评论。 - 这是 Chrome 浏览器的限制吗?
不是! 这是抖音 API 本身的限制。
抖音为了防止爬虫,设置了 cursor=900 的硬限制。无论用什么浏览器、什么参数,都无法突破这个限制。
结论
无法通过修改 skill 来绕过这个限制。
抖音 API 的设计就是:
一级评论最多只能获取前 900 条
这是服务端的限制,不是客户端的问题
即使换成 Edge 浏览器,也会有类似的限制(只是阈值可能不同)
建议
如果确实需要获取全部评论,只能:
使用抖音官方 API(需要申请)
接受当前限制,使用已爬取的数据
手动在抖音网页上查看评论
——Monday 27 July 2026, 15:51
Contributor guide
No contributing guide indexed for this repository
First steps
- Read the whole issue, then the project's contributing guide.
- Comment on the issue to say you are picking it up — it saves two people doing the same work.
- Fork the repository and make your change on a branch.
- Open a pull request that references the issue number.
Research direction
No file, test, or concrete entry point is named. Start by reproducing the reported Douyin comment-pagination behavior in the current crawler and inspect the returned cursor and has_more values; done means determining whether the client can address the limit or documenting the confirmed server-side restriction.
Written by the indexing model from the issue text.
Assessment
- Tech stack
- python
- Domain
- data-engineering
- Issue type
- Bug
- Difficulty
- 5/5
- Estimated time
- Over a week
- Activity status
- Quiet
- Clarity
- Needs clarification
- Newbie friendliness
- 25/100