最近專案太忙了，都沒空繼續學習爬蟲，前幾天實驗了各種姿勢帶cookie去登陸，都沒有成功，不明覺厲
依然沒有放棄，今天用同樣的辦法登陸以前大學的**居然成功了，我真是一臉懵逼
又看了一遍以前的學習成績，真是恨不得給自己兩耳屎，青春都讓狗吃了
哦，對了，以前還有一段學selenium的學習筆記，空了整理放到裡面來
#-*- coding:utf-8 -*-
import
requests
from bs4 import
beautifulsoup
head=
#url = ''
#req = requests.get(url, headers=head)
detail = requests.get('
',headers=head).text
soup = beautifulsoup(detail, "
html.parser")
blist = soup.find_all('b'
)for item in
blist:
print item.get_text()
爬蟲 cookie模擬登陸
cookie 適用於抓取需要登入才能訪問的頁面 http協議為無連線協議，cookie 存放在客戶端瀏覽器，session 存放在web伺服器 1 先登入成功1次，獲取到攜帶登陸資訊的cookie 登入成功 個人主頁 f12抓包 重新整理個人主頁 找到主頁的包 home 一般cookie都在all ...
自動登陸 Cookie
再來兩句 cookie是由servlet api提供的類，是web伺服器傳送給客戶端的一小段資訊。客戶端在請求時，可以讀取資訊併發送到伺服器端，cookie中包含多個名稱 值對，伺服器傳送乙個cookie時，客戶端可以接受並儲存這個cookie。伺服器可以設定cookie的名稱 值 存活時間以及版本...
爬蟲 新浪微博（登陸訪問 cookie訪問）
一 思路 登入 進入指定頁面 獲取cookie 帶cookie訪問相關頁面。注 貌似微博頁面稍微改了一下 現在通過登入直接進入個人中心的過程中所獲取的cookie不能用於訪問其他頁面，因此，才會在登陸後加一層進入指定頁面用於獲取可用的cookie。二 1 登入並獲取cookie url 2 cook...