惠惠購物助手。
資料分析與研究（資料冰山知乎專欄）。
搶票軟體等。
php：php是世界是最好的語言，但他天生不是做這個的，而且對多執行緒、非同步支援不是很好，併發處理能力弱。爬蟲是工具性程式，對速度和效率要求比較高。
j**a：生態圈很完善，是python爬蟲最大的競爭對手。但是j**a語言本身很笨重，**量很大。重構成本比較高，任何修改會導致**大量改動。爬蟲經常要修改採集**。
c/c++：執行效率是無敵的。但是學習和開發成本高。寫個小爬蟲程式可能要大半天時間。
python：語法優美、**簡潔、開發效率高、支援的模組多。相關的http請求模組和html解析模組非常豐富。還有scrapy和scrapy-redis框架讓我們開發爬蟲變得異常簡單。
python3.6開發環境。
pycharm 2017 professional版。
Python爬蟲 網路請求 urllib
簡單的請求from urllib.request import urlopen 發起網路請求 response urlopen assert response.code 200print 請求成功 儲存請求的網頁 file變數接受open 函式返回的物件的 enter 返回結果 with open ...
python3爬蟲實踐（二） 爬蟲前奏
1.1 什麼是網路爬蟲 1.2 通用爬蟲和聚焦爬蟲 2.1 什麼是 http 和 https 協議 2.2 在瀏覽器中傳送乙個 http 請求的過程 2.3 url 詳解 scheme host port path query string anchor2.4 常用請求方法 get 請求 一般情況下...
python 爬蟲前奏二 pyquery的使用
doc pq html doc pq filename demo.html 但是需要修改pyquery的原始碼 if filename in kwargs html open kwargs filename html open kwargs filename r encoding utf 8 doc...