Python爬蟲程式設計常見問題解決方法

2022-07-04 03:45:07 字數 1408 閱讀 4554

【按住ctrl鍵不送松】,同時用滑鼠點選【方法名】,檢視文件

問題描述:【型別錯誤】就是資料的型別應該是bytes型別,而不是str型別

解決方案:

data = data.encode('utf-8')
除錯步驟:通過print(type(html))檢視html的型別, 可以查出是bytes型別,就需要解碼

解決方案:

html = html.decode()
解決方案:

header = 

req = request.request(url=base_url,data=bytes(data,encoding='utf-8'),headers=header)

除錯步驟:1.通過print(type(json_data))檢視資料的型別,

2.可以查出是str型別,就是說返回的字串中有bytes型別的資料

解決方案:把json字串轉換為字典

json_data = json.loads(json_data)
問題描述:想要jsonkey/value的一部分

典型案例:

例如:

json_data=,]

}

要求:只想要輸出good: adj. 好的,而不要其他的格式

1.可以通過json_data['data'],只輸出json資料json_data中『data』對應的值,也就是

[,

]

2.遍歷輸出每個'k'和'v'的值

# 遍歷輸出每個'k'和'v'的值

解決方案:如果使用的是http改成https,

如果使用的是https改成http,就可以了

- 本筆記不允許任何個人和組織**

爬蟲常見問題。

如果url中存在中文,而你卻不對它做任何處理,他不會達到你所想的那樣,因此我們需要將中文部分進行處理,要用到urllib.parse模組中的quote將中文轉化成url所需的編碼,url中的中文要單獨處理,不能中英文全部合在一起處理 因為一部分的特殊字元也會被處理掉 import urllib.pa...

爬蟲面試常見問題

許多自學爬蟲 python 的小夥伴因為沒有經歷過面試所以在找工作之前難免有些抓不住重點,雖然自己有些技術 但是因為發揮不好而錯失工作機會,本人經過n次面試以後特總結以下面試常見問題,為想要轉爬蟲的小 夥伴提供一些參考。一.專案問題 一般面試官的第乙個問題八成都是問一下以前做過的專案,所以最好準備兩...

程式設計常見問題

知識點1 64位 pip 安裝 cv2 使用pip的方法進行安裝64位的。pip install opencv python 請參考知識點2 問題 modulenotfounderror no module named pylab 原因 pylab 模組是一款由python提供的可以繪製二維,三維資...