使用爬蟲獲取ajax資料

-簡單修改了一下url 可以獲取到前100條資料

from urllib import request

import json
class
doubanmoviespide
:"""
豆瓣電影劇情片排行榜
"""def__init__
(self)
: self.url =
""self.headers =
defload_page
(self)
:"""
載入頁面，獲取json資料
"""try:
req = request.request(self.url, headers=self.headers)
response = request.urlopen(req)
html = response.read(
).decode(
)# print(type(html)) # > 
self.parse_page(html)
except exception as e:
print
("load_page error:{}"
.format
(e))
defparse_page
(self, html)
:"""
解析html頁面，實際上就是提取json資料
"""try:
text = json.loads(html)
movie_list =
for t in text:
rating = t[
'rating'][
0]rank = t[
'rank'
] title = t[
'title'
] movie_info =
self.write_info(movie_list)
except exception as e:
print
("parse_page error:{}"
.format
(e))
defwrite_info
(self, movie)
:"""
將提取出來的json資料儲存到json檔案中
"""with
open
("../text/doubanmovie.json"
,'w'
, encoding=
"utf-8"
)as f:
f.write(json.dumps(movie, ensure_ascii=
false))
print
("write success"
)if __name__ ==
"__main__"
: dbm = doubanmoviespide(
) dbm.load_page(
)

[,,

,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,,,,
,]

scrapy爬蟲獲取Ajax請求

本次練習 為智聯招聘網，要先註冊登入。傳送門 看到ajax 登入 f12 network xhr f5 preview 展開result，可以看到很多的招聘資料，這就是我們需要的。現在開始寫 一 建立scrapy專案。scrapy startproject crawposition 二 使用pych...

ajax的使用及資料的獲取

在寫ajax之前，先複習一下form表單。首先form表單的主要功能是用來向服務端提交資料的，其屬性有action，method，enctype,等。1，action屬性 是提交的路徑 伺服器的路徑 uri.url統一資源定位，uri專案內部的資源定位 2，method屬性 其屬性值主要有兩個 po...

ajax 資料的獲取

responsetext ajax請求返回的內容就被存放到這個屬性下面 readystate屬性 請求狀態 0 初始化 還沒呼叫open 方法 1 載入 已呼叫send 方法，正在傳送請求 2 載入完成 send 方法完成，已收到全部響應內容 3 解析 正在解析響應內容 4 完成 響應內容解析完成，...