爬取部落格評論

# 通過抓包獲取資料

# 還要找到真實的 url 位址
# 多數在 networt --- xhr 中
import requests
import json
link = ''
headers = 
r = requests.get(link,headers=headers)
print(
'頁面狀態響應碼: '
,r.status_code)
# 此時已經拿到了 真實的 url 位址 請求 並響應成功
json_string = r.text # 儲存資料
json_string = json_string[json_string.find(
'{'):-2]
# 僅僅提取字串中符合json格式的部分
json_data = json.loads(json_string)
# 轉化為 .json 資料格式
comment_list = json_data[
'results'][
'parents'
]# 鍵名 鍵名
for eachone in comment_list:
message = eachone[
'content'
] names = eachone[
'name'
] print(names)
,'a+'
)as f:
f.write
("*****=華麗分割線*****=\n"
爬取微博客戶端使用者評論
coding utf 8 filename weibo comment.py date 2018 12 5 13 01 author 風夏 hobby mi mi 貓 import requests import json import time import emoji pip install e...
python爬取網易評論
爬取的是 最近華北空氣汙染嚴重 的新聞 1 首先獲取json格式的檔案 我用的是360瀏覽器 貌似用谷歌比較好，但我谷歌出了點問題 最新跟帖 所以要同時爬取兩種 3 處理字串 用 json.loads 解碼字串轉換為python形式時格式很重要，在這裡轉換成字典 形式。將開頭和結尾去掉，只剩下乙個大...
python爬取京東評論
這不是我的第乙個爬蟲，但大多數都是像這樣簡單粗暴的，因為一開始對於定義函式，然後再進行相應的操作，是比較困難的，這能直接寫for迴圈語句。然後，我們便開始進行相應的爬蟲第一步 匯入必要的包 import requests import json header這個的作用在於偽裝成瀏覽器進行操作，有些網...