Python爬蟲 爬取最好大學網學校資訊

2021-09-20 04:01:41 字數 1967 閱讀 5194

首先給出**: 最好大學網

print('響應失敗')

return ""

def fillunivlist(ulist,html):

soup = beautifulsoup(html,'html.parser')

for tr in soup.find('tbody').children:

if isinstance(tr,bs4.element.tag):#過濾掉非tag型別

tds = tr.find_all('td')#tds為tr標籤的列表

def displayuivlist(ulist,num):

tqlt = "\t^10}\t"#控制中文對齊

print(tqlt.format('排名','學校','分數',chr(12288)))

for i in range(num):

u = ulist[i]

print(tqlt.format(u[0],u[1],u[2],chr(12288)))

print('suo'+str(num))

def main():

uinfo =

url = ''

html = gethtmltext(url)

fillunivlist(uinfo,html)

displayuivlist(uinfo,20)

main()

獲得的結果:這處理結果的時候需要注意一下,關於中文對齊的問題,在這裡我們用chr(12288)來作為填充字元,就可以很好地解決中文對齊問題。

排名    	    學校    	    分數    

1    清華大學    94.6

2    北京大學    76.5

3    浙江大學    72.9

4   上海交通大學   72.1

5    復旦大學    65.6

6  中國科學技術大學  60.9

7   華中科技大學   58.9

7    南京大學    58.9

9    中山大學    58.2

10  哈爾濱工業大學   56.7

11  北京航空航天大學  56.3

12    武漢大學    56.2

13    同濟大學    55.7

14   西安交通大學   55.0

15    四川大學    54.4

16   北京理工大學   54.0

17    東南大學    53.6

18    南開大學    52.8

19    天津大學    52.3

20   華南理工大學   52.0

suo20

使用python爬蟲爬取最好大學網大學排名例項

import requests from bs4 import beautifulsoup import bs4 從網路上獲取大學排名網頁內容 defgethtmltext url try r requests.get url,timeout 30 r.raise for status return...

python爬取最好大學排名

coding gbk import requests from bs4 import beautifulsoup import bs4 def gethtmltext url 將url資訊爬取,並將html頁面返回給其他程式 try r requests.get url,timeout 30 30m...

中國最好大學排名爬取例項

從網頁上獲取html 用requests庫get方法 提取網頁內容到資料結構 比如列表 元組 字典 集合set 將處理後的資料結構展示 import requests from bs4 import beautifulsoup import bs4 defgethtmltext url try r ...