print("第一種方法")
res=urllib.request.urlopen(url)
print(res.getcode()) #列印狀態碼
print(len(res.read())) #返回的網頁內容長度
print("第二種方法")
request=urllib.request.request(url) #使用resquest物件進行特殊的處理
request.add_header("user-agent","mozilla/5.0") #這裡把爬蟲偽裝成乙個瀏覽器
res2=urllib.request.urlopen(request)
print(res2.getcode())
print(len(res2.read()))
print("第三種方法")
urllib.request.install_opener(opener) #urllib安裝opener,增加cookie的處理
res3=urllib.request.urlopen(url)
print(res3.getcode())
print(len(res3.read()))
print("列印cookie的內容")
print(cj)以下是2和3之間的變化，從網上找過來的
py2.x：
urllib庫
urllin2庫
py3.x：
urllib庫
變化：
python製作乙個簡單網路爬蟲
這章我們用python標準庫urllib2來實現簡單的網路爬蟲 本章很簡單適合小白，不喜勿噴 一 urllib2定義了以下方法 urllib2.urlopen url,data,timeout data引數 post資料提交 例如 賬號密碼傳送給伺服器判斷登陸 url引數 網頁url，可接受requ...
爬蟲系列 （一）最簡單的爬蟲
首先，什麼是爬蟲？網路蜘蛛 web spider 也叫網路爬蟲 web crawler 1 螞蟻 ant 自動檢索工具 automatic indexer 或者 在foaf軟體概念中 網路疾走 web scutter 是一種 自動化 瀏覽網路 的程式 或者說是一種網路機械人 網路爬蟲 又被稱為網頁蜘...
python簡易爬蟲製作
編譯環境 pycharm 4.5.3 python版本 3.5.1 以knewone為例 frombs4importbeautifulsoup importrequests importtime url web data requests.get url 利用requests訪問網頁 soup be...