requests庫入門之小爬蟲

通用**框架：

try

: r=requests.get(url,timeout=30)
r.raise_for_status()
return
r.text
except
: 
return
"產生異常
"

爬取某網頁100次花費的時間

import

requests
import
time
defgethtmltext(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
return
r.text
except
: 
return
"產生異常"if
__name__=='
__main__':
url='
'a=time.time()
for i in range(100):
gethtmltext(url)
b=time.time()
print('
爬取100次需要花費的時間為%d秒
' %(b-a))

爬取京東商品頁面的爬取：

import

requests
url='
'try
: r=requests.get(url)
r.raise_for_status()
print(r.text[:1000])
except
: 
print('
爬取失敗
')

爬取有限制的網頁：

import

requests
url = '
'try
: kv=
r = requests.get(url,headers=kv)
r.raise_for_status()
print(r.text[1000:2000])
except
: 
print('
爬取失敗
')

import

requests
keyword='
python
'try
: kv = 
r = requests.get('
/s',params=kv)
print
(r.request.url)
r.raise_for_status()
print
(len(r.text))
except
: 
print('
爬取失敗
')

import

requests
keyword='
python
'try
: kv=
r=requests.get('
',params=kv)
print
(r.request.url)
r.raise_for_status()
print
(len(r.text))
except
: 
print('
爬取失敗
')

import

requests
import
osurl='
'root='
e://pics//
'path=root+url.split('
/')[-1]
try:
ifnot
os.path.exists(root):
os.mkdir(root)
ifnot
os.path.exists(path):
r=requests.get(url)
with open(path,'wb
') as f:
f.write(r.content)
f.close()
print('
檔案儲存成功')
else
: 
print('
檔案已存在')
except
: 
print('
爬取失敗
')

import

requests
url='
'try
: r=requests.get(url+'
202.204.80.112')
r.raise_for_status()
print(r.text[-500:])
except
: 
print('
爬取失敗
')

爬蟲基礎之Requests庫入門

import requests r requests.get r.status code r.encoding utf 8 r.text方法 說明requests.request 構造乙個請求，支援以下各方法的基礎方法 requests.get 獲取html網頁的主要方法，對應http的get re...

網路爬蟲之Requests庫入門

requests庫是python中用於網路爬蟲的較為簡單的庫。其中語法格式如下 r requests.get url,params none kwargs 1 構造乙個向伺服器請求資源的request物件，包含爬蟲返回的去不得內容 2 返回乙個包含伺服器資源的response物件 url 你獲取頁面...

爬蟲入門 Requests庫

首先用管理員許可權開啟cmd命令列，然後直接輸入 pip install requests，即可安裝成功 需要聯網 方法 作用requests.request 構造乙個請求，它是支撐以下方法的基礎方法 requests.get 獲取html網頁的主要方法，請求獲取url位置的資源 requests....