openzim / openzim/python-scraperlib
Pass proper user-agent in `stream_file` when host is `upload.wikimedia.org`
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Python
- Estrellas
- 31
- Forks
- 27
- Merge medio
- 3 d 7 h
- PR fusionados (30 d)
- 2
Descripción
For files hosted on upload.wikimedia.org, we must comply with their User-Agent policy at https://meta.wikimedia.org/wiki/User-Agent_policy
Doing so at scraperlib level in stream_file (main methods using in many scraper to download files / assets) would help avoid having to do so in every scraper (and forget about it over and over).
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Localiza la implementación de stream_file y revisa cómo gestiona las descargas para upload.wikimedia.org. Lee la política de Wikimedia sobre User-Agent enlazada y, después, verifica que las solicitudes a ese host utilicen un User-Agent conforme sin requerir cambios en cada scraper. El issue no menciona ningún archivo de prueba específico, así que añade o actualiza la cobertura donde se encuentren las pruebas existentes de stream_file.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- backend
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 45/100