aboutcode-org / aboutcode-org/vulnerablecode

Find a scalable way to archive reference URLS

オープン
#2,303 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
702
フォーク
328
平均マージ
3日 8時間
マージ済み PR(30日)
3

説明

As originally posted by @ziadhany in this issue, we now have a way to collect reference URLs, but there are issue with doing it at scale, including rate limiting:
- https://github.com/aboutcode-org/vulnerablecode/issues/1724#issuecomment-4110565625

> I think we should use web.archive.org to store archive URLs via their "Save Page Now" endpoint `https://web.archive.org/save/`
>
> https://github.com/akamhy/waybackpy/blob/master/waybackpy/save_api.py.
> Since our URLs are stored in AdvisoryReference, we could add a new field `archive_url` to that model.
>
> One major constraint is the rate limit of 15 requests per minute. With 250,000 URLs to process, the initial run would take about 11.5 days:
>
> 250,000 / (15 * 60 * 24) = 11.57 days

@ziadhany is reaching out to archive.org to find better and improved ways to archive at scale.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。