爬蟲碰到請求引數無法正常顯示問題

2022-09-13 17:21:10 字數 432 閱讀 5074

比如電信的

fiddler抓到的包,username值是四個框框,不是明文。

可以在網頁原始碼裡查詢:

發現是gbk編碼

在搜尋username引數(就像分析js 剛開始搜尋引數一樣),會找到:

最後post data時:

recievenbr = '移動**'

# name = name.encode('utf-8')

username = username.encode('gb2312')

recievenbr = recievenbr.encode('gb2312')

先gbk編碼,在傳入data裡邊,然後傳送請求

ok

當爬蟲碰到加密請求引數

先說說最近碰到反爬蟲相關的方式吧 1.加密 訪問次數限制 每個頁面相關資訊的條目需要點詳情進行二次請求 2.複雜的加密演算法進行引數 時間戳 sig值,後台進行 引數 時間限制 3.定時同步cookie 每個介面乙個cookie 以上三種加密 第一種破解方式是 簡單的破解方式使用 selenium,...

Django2 2 報錯資訊無法正常在頁面顯示

django2.2 安裝後,使用runserver進行開發,出錯時錯誤資訊只顯示於控制台命令列,而在前端頁面只顯示一行 a server error occurred.please contact the administrator.排錯很不方便,仔細檢視控制台的錯誤資訊,提示 unicodedec...

帶引數 爬蟲(四) 帶引數請求

豆瓣搜尋 海邊的卡夫卡 知乎搜尋 宇宙大 可以看到每個url都由兩部分組成 前半部分形如 後半部分形如 xx xx xx xx xx 兩部分使用?來連線。其中前半部分是基 告訴伺服器想訪問的位址,後半部分就是請求所附帶的引數,它會告訴伺服器,需要什麼樣的資料。引數的結構和字典很像,有鍵有值,鍵值用 ...