使用python爬蟲爬取最好大學網大學排名例項

import requests

from bs4 import beautifulsoup
import bs4
#從網路上獲取大學排名網頁內容
defgethtmltext
(url)
:try
: r =requests.get(url,timeout=30)
r.raise_for_status(
) return r.text
except
:return
""#提取網頁內容中資訊到合適的資料結構
deffillunivlist
(ulist,html)
: soup = beautifulsoup(html,
"html.parser"
)for tr in soup.find(
'tbody'
).children:
ifisinstance
(tr,bs4.element.tag)
: tds = tr(
'td'
)[tds[0]
.string,tds[1]
.string,tds[3]
.string]
)#利用資料結構展示並輸出結果
defprintunivlist
(ulist,num)
: tplt =
"\t^10}\t"
print
(tplt.
format
("排名"
,"學校名稱"
,"總分"
,chr
(12288))
)for i in
range
(num)
: u = ulist[i]
print
(tplt.
format
(u[0
],u[1]
,u[2],
chr(
12288))
)def
main()
: uinfo =
url =
''html = gethtmltext(url)
fillunivlist(uinfo,html)
printunivlist(uinfo,20)
main(
)

Python爬蟲 爬取最好大學網學校資訊

首先給出 最好大學網 print 響應失敗 return def fillunivlist ulist,html soup beautifulsoup html,html.parser for tr in soup.find tbody children if isinstance tr,bs4.e...

python爬取最好大學排名

coding gbk import requests from bs4 import beautifulsoup import bs4 def gethtmltext url 將url資訊爬取，並將html頁面返回給其他程式 try r requests.get url,timeout 30 30m...

中國最好大學排名爬取例項

從網頁上獲取html 用requests庫get方法 提取網頁內容到資料結構 比如列表 元組 字典 集合set 將處理後的資料結構展示 import requests from bs4 import beautifulsoup import bs4 defgethtmltext url try r ...