一木 溪橋學爬蟲 04 requests模組

一木.溪橋學爬蟲-04：requests模組、cookie、session

日期：2023年1月31日

import requests

# 新增heasers
# 問題一 資料不對
headers = 
# 攜帶引數
kw = 
# 發起請求
response = requests.get('', params=kw, headers=headers)
# 響應物件
print(response.text) # 獲取網頁原始碼
print(response.url) # 獲取請求的url

import requests

# 問題二 資料亂碼
headers = 
# 發起請求
response = requests.get('', headers=headers)
# print(response.text) 返回的是 str
# print(response.content) # 返回的是 bytes
# print(response.content.decode('utf-8')) # 推薦用這種方式 它返回的也是str型別的資料
response.encoding = 'utf-8'
print(response.text)

**ip的作用

如何找**ip

匿名度cookie在爬蟲當中有什麼作用？ 步驟

補充

注意 data:image/jpg;base64 需要刪掉
​二者相同的內容
​需要刪除 64
​分析總結
我們由正常的方式發現這個**比較臃腫。所以就採用另外的方式來獲取驗證碼的鏈結。

import requests

req = requests.session() # 保持會話
#　主機是win10 python 3.6.5
# win7 python 3.6.4
def login():
# 獲取,對比https,刪除-image64中的64
pic_response = req.get('')
codeimage = pic_response.content
fn = open('code2.png', 'wb')
fn.write(codeimage)
fn.close()
headers = 
# 投機行為
codestr = input('請輸入驗證碼座標:')
data = 
response = req.post('', data=data, headers=headers)
print(response.text)
login()

為什麼要進行原始碼分析呢？

從0開始學爬蟲12之使用requests庫基本認證

從0開始學爬蟲12之使用requests庫基本認證 此處我們使用github的token進行簡單測試驗證 基本認證 return response requests.get construct url user auth reblue520 reblue520 print response.text...

從0開始學爬蟲4之requests基礎知識

從0開始學爬蟲4之requests基礎知識 安裝requests pip install requests get請求 可以用瀏覽器直接訪問 請求可以攜帶引數，但是又長度限制 請求引數直接放在url後面 post請求 不能使用瀏覽器直接訪問 對請求引數的長度沒有限制 可以用來上傳檔案等需求 requ...

一起學爬蟲（一）入門須知

可憐的博主終於熬過了考試周 半條命都沒了 跪求下學期開學，別再上網課了，真管不住自己 手動狗頭 考試周期間有很多 悔不當初 不再一一枚舉，但其中有一條就是這學期的python課真的太水了，學了一學期啥也不會 所以，打算暑假啃一本 python網路爬蟲從入門到實踐 這一系列部落格的內容呢將是我在學習過...