geekcomputers / geekcomputers/Python
add a stackoverflow web scrapper
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 35.4k
- Forks
- 12.9k
- Ø Merge
- 2 Std. 37 Min.
- Gemergte PRs (30 T.)
- 1
Beschreibung
Here's the source code of a web scrapper, Made to extract useful questions & answers in stackoverflow
``
import requests
from bs4 import BeautifulSoup
question = input('Type a question : ')
words = question.split(' ')
url = 'https://stackoverflow.com/search?q='+'+'.join(words)
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
items = soup.find_all('a',class_='question-hyperlink')
mylist = []
for item in items :
if item['href'].startswith('/questions/'):
mylist.append(item['href'])
link = 'https://stackoverflow.com'+mylist[0]
try:
page = requests.get(link)
soup = BeautifulSoup(page.content, 'html.parser')
items = soup.find_all('div', class_='post-text')
mylist = []
for item in items:
mylist.append(item)
print(mylist[1].text)
except:
print('No fu-----g clue!')
``
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Das Issue stellt einen Python-Kommandozeilen-Einstiegspunkt bereit, der requests und BeautifulSoup verwendet, um Stack Overflow zu durchsuchen und eine Antwort auszugeben. Beginne damit, herauszufinden, wo eigenständige Python-Beispiele im Repository hingehören, und führe dann das bereitgestellte Skript mit einer Beispiel-Frage aus. Erledigt ist die Aufgabe, wenn der Scraper am erwarteten Ort enthalten ist und sein vorgesehenes Such- und Anzeigeverhalten funktioniert.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- cli, web-dev
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 35/100