關於隨機瀏覽頭偽裝fake UserAgent

使用：

from fake_useragent import useragent

ua 

=useragent
()#ie瀏覽器的user agent
print(ua
.ie)

mozilla/5.0 (windows; u; msie 9.0; windows nt 9.0; en-us)

#opera瀏覽器

print(ua.opera)

opera/9.80 (x11; linux i686; u; ru) presto/2.8.131 version/11.11

#chrome瀏覽器

print(ua.chrome)

mozilla

/5.0
(windows
nt 6.1)/
537.2
(khtml
,like 
gecko
)chrome
/22.0
.1216.0
safari
/537.2

#firefox瀏覽器

print(ua.firefox)

mozilla

/5.0
(windows
nt 6.2
;win64
;x64;rv
:16.0.1
)gecko
/20121011
firefox
/16.0
.1

#safri瀏覽器

print(ua.safari)

mozilla

/5.0
(ipad
;cpu os 
6_0like 
macos x)/
536.26
(khtml
,like 
gecko
)version
/6.0
mobile
/10a5355d
safari
/8536.25

但我認為寫爬蟲最實用的是可以隨意變換headers，一定要有隨機性。在這裡我寫了三個隨機生成user agent，三次列印都不一樣，隨機性很強，十分方便。

from

fake_useragent 
import
useragent
ua =
useragent
()print(ua
.random
)print(ua
.random
)print(ua
.random
)

mozilla

/5.0
(x11
;ubuntu
;linux
i686;rv
:15.0
)gecko
/20100101
firefox
/15.0.1
mozilla
/5.0
(windows
nt 6.2
;win64
;x64;rv
:16.0.1
)gecko
/20121011
firefox
/16.0.1
opera
/9.80
(x11
;linux
i686;u
;ru)presto
/2.8
.131
version
/11.11

import

requests
from
fake_useragent 
import
useragent
ua =
useragent
()headers 
=url 
='待爬網頁的url'
resp 
=requests
.get
(url
,headers
=headers
)

爬蟲瀏覽器偽裝

先引入模組 urllib.request和re import requests import re定義乙個url鏈結 url 瀏覽器偽裝，定義乙個headers頭 headers user agent 將headers新增到真實的報頭中去，首先建立乙個opener物件，再將其新增進去 opener ...

python瀏覽器偽裝技術

整理的python在進行爬蟲時，進行瀏覽器偽裝import urllib.request 以字典的形式設定headers accept language zh cn,zh q 0.8,en us q 0.5,en q 0.3 connection keep alive referer 設定cooki...

爬蟲瀏覽器的偽裝技術

1 大部分反爬蟲 會檢查使用者的 user agent 字段。簡單的偽裝只需要設定好 user agent 字段。高相似度的偽裝瀏覽器設定headers常見字段。2 通過獲取伺服器資訊進行反爬。通過使用 伺服器的方式解決。3 對於更加複雜的反爬機制的 可以運用selenium phantomjs聯合...