After-the-CM / After-the-CM/Himawari
`robots.txt` を読み取り、`robots.txt` のルールに沿ったクローリングを行う
Đang mở
Crawler
good first issue
help wanted
priority: high
- Ngôn ngữ chính
- Go
- Star
- 9
- Fork
- 1
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
## 概要
`robots.txt` とは、検索エンジンのクローラーに対して、サイトのどの URL にアクセスしてよいかを伝えるものである。
`robots.txt` を読み取り、`robots.txt` のルールに沿ったクローリングを行う。
## 方針
大きく二段階に分かれると考えられる。
1. `robots.txt` の内容を取得し、ルールを理解する
[grobotstxt](https://github.com/jimsmart/grobotstxt)のような`robots.txt` のパーサを利用する。
2. `robots.txt` に記載されている情報も活用してクロールする
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.