02 urllib庫的get請求方式

對於urllib中的get請求方式，可以直接傳入url的連線即可訪問頁面，但是對於要傳入關鍵字的話，也可以用quote進行編碼再傳入。

案例如下：

1

#get請求搜尋引數如何新增
2import
urllib.request
3try
:4 url="
"5#注意：在urllib 中這種的headers 是需要是字典的
6 key1="
python
"7 key1_url=urllib.request.quote(key1)
8 key2="
web開發
"9 key2_url=urllib.request.quote(key2)
10 all_url=url+key1_url+key2_url
1112 req=urllib.request.request(url=all_url)
13 file=urllib.request.urlopen(req,timeout=10)
14 html=file.read()
15print
(html)
1617
except
exception as e:
18print("
時間超時
",str(e))

可以傳入關鍵字key="關鍵字"，用key1_url=urllib.request.quote(key1)

進行編碼，最後將字串連線起來得到all_url再進行訪問即可。

Python學習之爬蟲02 urllib庫學習

爬取豆瓣閱讀的所有出版社 出版社爬取 urlretrieve urlretrieve是urllib庫下的request下面的乙個方法，所以在使用的時候記得加上request.清除爬蟲產生的快取。urlcleanup是urllib庫下的request下面的乙個方法，所以在使用的時候記得加上reques...

Python爬蟲02 urllib自帶模組編寫

現在的python已經出到了3.5.2 在python 3以後的版本中，urllib2這個模組已經不單獨存在 也就是說當你import urllib2時，系統提示你沒這個模組 urllib2被合併到了urllib中，叫做urllib.request 和 urllib.error urllib整個模組...

爬蟲 urllib的get請求

quote 方法 是將漢字轉換成unicode編碼 import urllib.request import urllib.parse url 請求物件的定製是為了解決反爬的第一種手段 headers 將 周杰倫 三個漢字變成unicode編碼的格式 需要依賴urllib.parse name ur...