因公司需求，需要爬取微博相關大v的賬號以及相關資訊，一開始是直接爬取，發現只可以爬取10條資料（沒有登陸的情況下），所以就涉及到模擬登陸。
import requests
import json
import base64
from lxml import etree
from bs4 import beautifulsoup
import time
def login(username, password):
username = base64.b64encode(username.encode('utf-8')).decode('utf-8')
postdata =
loginurl = r''
session = requests.session()
res = session.post(loginurl, data = postdata)
jsonstr = res.content.decode('gbk')
info = json.loads(jsonstr)
if info["retcode"] == "0":
print("登入成功")
# 把cookies新增到headers中，必須寫這一步，否則後面呼叫api失敗
cookies = session.cookies.get_dict()
cookies = [key + "=" + value for key, value in cookies.items()]
cookies = "; ".join(cookies)
session.headers["cookie"] = cookies
else:
print("登入失敗，原因： %s" % info["reason"])
return session
if __name__ == '__main__':
session = login('your account', 'your password')
httpclient模擬登陸微博問題
我用httpclient模擬登陸微博報如下錯誤 debug requestaddcookies cookie version 0 name usrhawb value usrmdins212 186 domain weibo.com path expiry null match weibo.com ...
Python 模擬微博登陸，親測有效！
今天想做乙個微博爬個人頁面的工具，滿足一些不可告人的秘密。那麼首先就要做那件必做之事！模擬登陸 是參考了 https www.45 我對 進行了優化，重構成了python 3.6 版本，並且加入了大量注釋方便大家學習。在提交post請求之前，需要get 獲取兩個引數。位址是 http login.s...
Python 新浪微博爬蟲之模擬登陸
目前，親測能用的步驟是 通過預登入，使用get方法，獲得登入所需的servertime,nonce,pubkey,rsakv 使用encode64加密使用者名稱，使用rsa演算法加密密碼 登入。步驟一 response格式為 換行是我自己加上去的 sinassocontroller.prelogin...