geekcomputers / geekcomputers/Python
add a stackoverflow web scrapper
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 35.4k
- Fork
- 12.9k
- Merge trung bình
- 2 giờ 37 phút
- Pull request đã merge (30 ngày)
- 1
Mô tả
Here's the source code of a web scrapper, Made to extract useful questions & answers in stackoverflow
``
import requests
from bs4 import BeautifulSoup
question = input('Type a question : ')
words = question.split(' ')
url = 'https://stackoverflow.com/search?q='+'+'.join(words)
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
items = soup.find_all('a',class_='question-hyperlink')
mylist = []
for item in items :
if item['href'].startswith('/questions/'):
mylist.append(item['href'])
link = 'https://stackoverflow.com'+mylist[0]
try:
page = requests.get(link)
soup = BeautifulSoup(page.content, 'html.parser')
items = soup.find_all('div', class_='post-text')
mylist = []
for item in items:
mylist.append(item)
print(mylist[1].text)
except:
print('No fu-----g clue!')
``
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Issue cung cấp một điểm vào dòng lệnh Python sử dụng requests và BeautifulSoup để tìm kiếm trên Stack Overflow và in ra một câu trả lời. Trước tiên, hãy xác định nơi các ví dụ Python độc lập cần được đặt trong repository, sau đó chạy script được cung cấp với một câu hỏi mẫu. Công việc được xem là hoàn tất khi scraper được đưa vào vị trí dự kiến và hành vi tìm kiếm và hiển thị theo mục đích của nó hoạt động.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- cli, web-dev
- Loại issue
- Tính năng
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 35/100