爬蟲之requests模組

pip install requests

import

requests
ret = requests.get(url='
', )
#原函式: get(url, params=none, **kwargs)
ret.encoding = '
utf-8'#
指定解析資料是使用的編碼格式
print(ret.content) #
響應的資料, bytes型別
print(ret.text) #
響應的資料, str型別
print(ret.url) #
當前訪問的url
print(ret.headers, type(ret.headers)) #
響應頭, 型別, 和字典操作類似
print(ret.json()) #
當響應的content-type為json時, 可以使用這個方法取json的資料
params = 
header = 
ret = requests.get(url='
', params=params, header=header)
data =

import

requests
url = "
"params =
#根據對搜狗的請求分析, 發現提交搜尋關鍵字的是
#並且是以get方式傳送的請求
#關鍵字是query
ret = requests.get(url=url, params=params)
with open(
'./sogou.html
', '
w', encoding='
utf-8
') as f:
f.write(ret.text)

import

requests
from multiprocessing import
pool
import
time
url = '
'header =
movie_title_list =
defget_movie(start):
params =
ret = requests.get(url=url, params=params, headers=header)
if ret.headers['
content-type
'] == "":
data = ret.json()["
data"]
for movie in
data:
"title"])
print(movie["
title"])
if__name__ == '
__main__':
p = pool(20)
start =time.time()
for n in range(0, 10000, 20):
p.close()
p.join()
print(time.time() -start)
#14s, 還可以。。。。

import

requests
import
json
url = "
"header =
data =
ret = requests.post(url=url, headers=header, data=data, params=)
res =json.loads(ret.text)
print(res, type(res))

import

requests
from multiprocessing import
pool
url = "
"header =
ids =
for page in range(20, 250):
data =
ret = requests.post(url=url, headers=header, data=data)
if ret.headers['
content-type
'] == "":
res = ret.json()["
list"]
for n in
res:'id
'])else
: 
pass
url = '
'def
func(k):
data =
r = requests.post(url=url, headers=header, data=data)
if r.headers['
content-type
'] == "":
print(r.json()["
businessperson"])
if__name__ == '
__main__':
p = pool(14)
for k in
ids:
p.close()
p.join()

爬蟲之requests模組

requests 唯一的乙個非轉基因的 python http 庫，人類可以安全享用。警告 非專業使用其他 http 庫會導致危險的 包括 安全缺陷症 冗餘 症 重新發明輪子症 啃文件症 抑鬱 頭疼 甚至死亡。今日概要 知識點回顧 為什麼要使用requests模組 使用requests模組 如何使用...

爬蟲之requests模組2

今日內容 知識點回顧 引入 coding utf 8 import requests if name main 張三人人網個人資訊頁面的url url 偽裝ua headers 傳送請求，獲取響應物件 response requests.get url url,headers headers 將響應...

python爬蟲之requests模組

python中原生的一款基於網路請求的模組，功能非常強大，簡單便捷，效率極高，作用是模擬瀏覽器發請求。指定url 傳送請求 獲取相應資料 持久化儲存 pip install requestsimport requests 一 指定url url 二 傳送請求 三 用get請求返回乙個響應物件 res...