爬蟲入門例項七

import urllib.request

import urllib.parse
import string
defget_method_params()
: url =
""name =
"美女"
#name = 
#字典傳參
#str_params = urllib.parse.urlencode(d)
#final_url = url + str_params
final_url = url + name
#轉譯含有漢字的**
change_url = urllib.parse.quote(final_url,safe=string.printable)
r = urllib.request.urlopen(change_url)
print
(r)#返回乙個請求物件
#unicodeencodeerror: 'ascii' codec can't encode
# characters in position 10-11: ordinal not in range(128)
#若name內容是英文本串沒有問題，中文字元有問題
# 使用safe=string.printable
print
(urllib.parse.quote(
'afe||*beff/c'))
#未編碼斜線,但是編碼其他符號
print
(urllib.parse.quote_plus(
'afdsdsf&b/c'))
#編碼了斜線，也編碼了其他符號
print
(urllib.parse.unquote(
'9+2'))
#不解碼加號
#'9+2'
print
(urllib.parse.quote_plus(
'9+2'))
#把加號解碼為空格
#quote()輸出和quote_plus一樣
#9%2b2
data = r.read(
).decode(
)# print(data)
print
(type
(data)
)# 字串型別
# 若沒有decode(),是位元組串。
with
open
("02-get_params.html"
,"w"
,encoding=
"utf-8"
)as f:
f.write(data)
get_method_params(
)

10個python爬蟲入門例項

1.爬取強大的bd頁面，列印頁面資訊 import requests 匯入爬蟲的庫，不然呼叫不了爬蟲的函式 response requests.get 生成乙個response物件 print 狀態碼 str response.status code 列印狀態碼 print response.tex...

Scrapy爬蟲從入門到例項精講（上）

最近幾天一直在學習scrapy這個框架，打算用幾篇文章來總結一下自己這段時間學習的知識。首先我們需要簡單介紹一下scrapy是個什麼東西。先來看一張圖，是從官網上弄下來的。scrapy是乙個框架，這個框架是用來爬取 資料的，並且該框架為我們提供了各種介面，包括爬蟲介面，管道介面，資料 儲存介面以及資...

Python爬蟲例項

中國大學排名專案 功能描述 輸出 大學排名資訊的螢幕輸出 排名，大學名稱，總分 技術路線 requests bs4 定向爬蟲 僅對輸入url進行爬取，不擴充套件爬取 程式的結構設計 步驟1 從網路上獲取大學排名網頁內容 步驟2 提取網頁內容中資訊到合適的資料結構 二維列表 步驟3 利用資料結構展示並...