DragonflyRobotics / DragonflyRobotics/MAGIST-Algorithm

Google Image Search API Caps at 100 Images Download

オープン
#7 コメント 1 件 リアクション 0 件 担当者 1 名 @DragonflyRobotics が担当を希望しています GitHub で見る
bug
主要言語
Python
スター
5
フォーク
0
PR マージ指標
30日以内にマージされた PR はありません

説明

**Description**
The Google Image Search API was updated to have a limit of 100 images per query. This means that consecutively downloading, for example, 200 images will fail.

**To Reproduce**
To reproduce the behavior, run the following code:
```python
from MAGIST.Utils.WebScraper.google import GoogleScraper

g = GoogleScraper("config.json")
g.download_raw_img_dataset("cars", 200, "Data/")
```

**Expected behavior**
It should ideally download 200 images and verify their integrity before downloading.

**Screenshots**
![image](https://user-images.githubusercontent.com/85193239/174666564-bfb6e210-d09f-4540-a27e-caaa3415cc73.png)
![image](https://user-images.githubusercontent.com/85193239/174666602-8d2e890b-077d-47a4-8062-4075412a7c35.png)

**Additional context**
I have teamed up with [@arrrlo](https://github.com/arrrlo) who made the `GoogleImageSearch` module for Python with the [issue](https://github.com/arrrlo/Google-Images-Search/issues/149) also posted on [@arrrlo's](https://github.com/arrrlo) [repo](https://github.com/arrrlo/Google-Images-Search).

This requires the module `pyparsing==2.4.2` which is part of a circular dependency issue(#4 ).

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。