openzim / openzim/python-scraperlib
Pass proper user-agent in `stream_file` when host is `upload.wikimedia.org`
未关闭
还没有人认领这个 Issue。
enhancement
question
- 主要语言
- Python
- 星标
- 31
- 派生
- 27
- 平均合并
- 3 天 7 小时
- 30 天内合并 PR
- 2
描述
For files hosted on upload.wikimedia.org, we must comply with their User-Agent policy at https://meta.wikimedia.org/wiki/User-Agent_policy
Doing so at scraperlib level in stream_file (main methods using in many scraper to download files / assets) would help avoid having to do so in every scraper (and forget about it over and over).
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
调研方向
定位 stream_file 的实现，并检查它如何处理针对 upload.wikimedia.org 的下载。阅读链接的 Wikimedia User-Agent 政策，然后验证向该主机发出的请求使用符合要求的 User-Agent，而不需要在每个 scraper 中进行更改。Issue 没有提到具体的测试文件，因此请在现有 stream_file 测试所在的位置添加或更新覆盖范围。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- python
- 领域
- backend
- Issue 类型
- 功能
- 难度
- 2/5
- 预计耗时
- 1-3 小时
- 活跃度
- 停滞
- 描述清晰度
- 基本清楚
- 新手友好度
- 45/100