Python爬蟲 Cookie查詢,使用

2021-10-05 05:46:34 字數 531 閱讀 3649

在爬蟲的過程中經常會遇到需要登入之後才能完整訪問的情況。

使用cookic可以模擬登入的情況,登入資訊儲存於cookie中。

查詢cookie

通過瀏覽器開發者模式(f12)直接查詢。

具體操作:

進入開發者模式(f12)-> network -> 選擇花費時間最長的(一般就是第一行)

紅色部分即為cookie

使用sessionselenium獲取cookie

使用cookie,模擬登入

使用requests庫訪問之前,在傳送的頭資訊裡面設定 cookie 即可。

python爬蟲 cookie的使用

在做登入的post請求時,需要記住cookie,否則不能訪問登入後的頁面。下面是登入的 postdata urllib.parse.urlencode encode utf 8 使用urlencode編碼處理後,再設定為utf 8編碼header req urllib.request.request...

python爬蟲cookie方面 1

cookie session 由於http協議的無記憶性,人們為了彌補這個缺憾,所採用的乙個補充協議 cookie是發給使用者 即http瀏覽器 的一段資訊,session是儲存在伺服器上的對應的另一半資訊,用來記錄使用者資訊 cookie和session的區別 存放位置不同 cookie不安全 s...

python爬蟲cookie模擬登入

抓取需要登入才能訪問的頁面1 先登入成功1次,獲取到攜帶登陸資訊的cookie f12開啟控制台,在頁面輸入使用者名稱 密碼,登入成功,找到 home 一般在抓到位址的上面 2 攜帶著cookie發請求 cookie referer 源,代表你從 轉過來的 user agentimport requ...