網路爬蟲實戰 2019中國大學排名

# -*- coding: utf-8 -*-

import requests
from bs4 import beautifulsoup
import bs4
# 從網路上獲取大學排名網頁內容
def gethtmltext(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
return r.text
except:
return ""
# 提取網頁內容中資訊到合適的資料結構
def fillunivlist(ulist, html):
soup = beautifulsoup(html, "html.parser")
for tr in soup.find('tbody').children:
# 過濾字串
if isinstance(tr, bs4.element.tag):
tds = tr('td')
# 利用資料結構展示並輸出結果
def printunivlist(ulist, num):
tplt = "^10}\t^10}\t"
print(tplt.format("排名", "學校名稱", "總分", chr(12288)))
爬蟲中國大學排名
from pip.vendor import requests print 訪問谷歌 獲取response物件 r requests.get x 1 while x 20 print 第 str x 次的返回狀態列印 str r.status code print 第 str x 次的text 列印...
Python爬蟲學習 中國大學排名定向實戰
requests定向爬取網頁資訊 import bs4 import requests from bs4 import beautifulsoup defgethtmltext url 通過最好大學排名 url獲得網頁html資訊 try r requests.get url r.raise for...
Python爬蟲 中國大學排名爬蟲
案例 import requests from bs4 import beautifulsoup import bs4 def gethtmltext url 爬取最好大學排名 內容 try r requests.get url,timeout 30 r.raise for status retur...