geekcomputers / geekcomputers/Python

add a stackoverflow web scrapper

Đang mở
#761 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Ngôn ngữ chính
Python
Star
35.4k
Fork
12.9k
Merge trung bình
2 giờ 37 phút
Pull request đã merge (30 ngày)
1

Mô tả

Here's the source code of a web scrapper, Made to extract useful questions & answers in stackoverflow
``
import requests
from bs4 import BeautifulSoup

question = input('Type a question : ')
words = question.split(' ')

url = 'https://stackoverflow.com/search?q='+'+'.join(words)

page = requests.get(url)

soup = BeautifulSoup(page.content, 'html.parser')

items = soup.find_all('a',class_='question-hyperlink')

mylist = []

for item in items :
if item['href'].startswith('/questions/'):
mylist.append(item['href'])

link = 'https://stackoverflow.com'+mylist[0]

try:
page = requests.get(link)

soup = BeautifulSoup(page.content, 'html.parser')

items = soup.find_all('div', class_='post-text')

mylist = []
for item in items:
	mylist.append(item)
print(mylist[1].text)

except:
print('No fu-----g clue!')
``

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Hướng nghiên cứu

Issue cung cấp một điểm vào dòng lệnh Python sử dụng requests và BeautifulSoup để tìm kiếm trên Stack Overflow và in ra một câu trả lời. Trước tiên, hãy xác định nơi các ví dụ Python độc lập cần được đặt trong repository, sau đó chạy script được cung cấp với một câu hỏi mẫu. Công việc được xem là hoàn tất khi scraper được đưa vào vị trí dự kiến và hành vi tìm kiếm và hiển thị theo mục đích của nó hoạt động.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
cli, web-dev
Loại issue
Tính năng
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.