基礎爬蟲函式封裝

#匯入模組

import json

#封裝get（）請求

defget
(url,headers=none):
return urlrequests(url,headers=headers)

#封裝post()請求

defpost
(url,form,headers=none):
return urlrequests(url,form,headers=headers)

# 1. 傳入url

defurlrequests
(url,form=none,headers=none):
# 2. 給user_agent
# 3. headers
# 使用者自行輸入headers則會覆蓋預設headers
if headers==none:
# 請求頭
headers = 
html_bytes = b''
# 4. 定義request
try:
if form :
# form轉換字串
form_str = parse.urlencode(form)
# 轉換bytes型別
form_bytes = form_str.encode('utf-8')
# 呼叫reques函式和方法
req = request.request(url,headers=headers,data=form_bytes)
else:
# 呼叫reques函式和方法
req = request.request(url,headers=headers)
# 5. urlopen
# 呼叫request中的urlopen方法
response = request.urlopen(req)
# 6. 返回byte陣列
# 函式呼叫
if __name__=='__main__':
# url = ''
# res = urlrequests(url)
# print(res)
url = ''
form = 
# res = urlrequests(url,form=form)
# print(res)
# req = get(url)
# print(req)
req = post(url,form=form)
req_dict = json.loads(req)['data'][0]['v']
print(req_dict)

python爬蟲基礎封裝函式

匯入包，模組 儲存cookie 對於有登入是 所將使用者記錄下來 class session object def init self cookie object cookiejar.cookiejar handler 對應著乙個操作 呼叫handler內部的乙個函式，儲存到cookie objec...

爬蟲基礎 函式封裝 更新一

匯入包，模組 儲存cookie 對於有登入是 所將使用者記錄下來 class session object def init self cookie object cookiejar.cookiejar handler 對應著乙個操作 呼叫handler內部的乙個函式，儲存到cookie objec...

封裝函式爬蟲

分析貼吧的url規律。第1頁 pn 0 第2頁 pn 50 第3頁 pn 100 pn是控制頁碼的。著重關注 封裝的思路。from urllib import request,parse import osimport ssl 解決ssl證書問題 處理url，返回request def handle...