爬取方法和上篇爬取豆瓣top250方法類似
import requestsfrom lxml import etreeurl=
''data=requests.get(url)
.content
s=etree.html(data)
pm=s.xpath(
'/html/body/div[3]/div/div[2]/div/div[2]/div/table/tbody/tr/td[1]/text()'
)name=s.xpath(
'/html/body/div[3]/div/div[2]/div/div[2]/div/table/tbody/tr/td[2]/div/text()'
)shengshi=s.xpath(
'/html/body/div[3]/div/div[2]/div/div[2]/div/table/tbody/tr/td[3]/text()'
)bg=s.xpath(
'/html/body/div[3]/div/div[2]/div/div[2]/div/table/thead/tr/th/text()'
)
print
("{}\t{}\t{}"
.format
(bg[0]
,bg[2]
,bg[1]
))for i in
range
(1002):
print
("{}\t{}\t{}"
.format
(pm[i]
,shengshi[i]
,name[i]
))
排名 省市 學校名稱
1 北京 清華大學
2 北京 北京大學
3 北京 中國科學院大學
4 安徽 中國科學技術大學
5 上海 復旦大學
6 北京 中國人民大學
7 上海 上海交通大學
8 浙江 浙江大學
9 江蘇 南京大學
10 天津 南開大學
11 上海 同濟大學
12 北京 北京航空航天大學
13 北京 對外經濟**大學
13 上海 上海財經大學
15 北京 **財經大學
16 北京 外交學院
17 天津 天津大學
18 湖北 武漢大學
18 北京 北京師範大學
20 北京 北京外國語大學
21 陝西 西安交通大學
22 福建 廈門大學
23 廣東 中山大學
24 湖北 華中科技大學
25 江蘇 東南大學
26 北京 北京理工大學
27 北京 中國政法大學
28 北京 北京郵電大學
29 廣東 香港中文大學（深圳）
30 四川 西南財經大學
31 黑龍江 哈爾濱工業大學
32 上海 華東師範大學
33 上海 上海外國語大學
34 廣東 華南理工大學
35 陝西 西北工業大學
36 湖北 中南財經政法大學
37 四川 四川大學
38 北京 中國傳媒大學
39 湖南 中南大學
40 遼寧 大連理工大學
41 上海 上海紐約大學
42 北京 北京交通大學
43 湖南 湖南大學
43 四川 電子科技大學
45 北京 北京科技大學
46 北京 北京協和醫學院
47 吉林 吉林大學
48 北京 華北電力大學（北京）
49 重慶 重慶大學
50 山東 山東大學
51 北京 北京語言大學
52 天津 天津醫科大學
53 北京 首都醫科大學
54 廣東 暨南大學
55 江蘇 南京航空航天大學
56 上海 華東理工大學
56 江蘇 南京理工大學
58 陝西 西安電子科技大學
58 遼寧 東北財經大學
60 廣東 南方科技大學
61 北京 中國農業大學
中國大學排名定向爬取
步驟一 從網路上獲取大學排名網頁內容 步驟二 提取網頁內容中資訊到合適的資料結構 步驟三 利用資料結構展示並輸出結果 通過右鍵檢視其網頁源 可得到如下介面 我們在這個介面找到如下資訊，可以發現，這些資訊是在tbody標籤下的，tr下面的td中就是我們想要爬取的資訊。我們僅爬取前四個td值進行返回，第...
中國大學排名的爬取
功能描述 輸入 大學排名的url鏈結 輸出 大學排名資訊的螢幕輸出 排名，大學名稱，總分 技術路線 requests bs4 定向爬蟲 進隊輸入url進行爬取，不擴充套件爬取 程式的結構設計 步驟一 從網路上獲取頁面資訊 gethtmltext 步驟二 提取網頁內容中資訊到合適的資料結構 fillu...
爬取中國大學排名（前567）
import requests from bs4 import beautifulsoup import re alluniv def gethtmltext url try r requests.get url,timeout 30 r.raise for status r.encoding ut...