1，基礎篇
2，高階篇
3，高階篇
基礎庫urllib,urlllib2,通過 openurl('url') 傳送請求，接受返回資料。注意大部分網會對url請求做安全驗證。畢竟安全第一，生產第二，驗證方法複雜多樣[防盜煉，cookie，登入驗證，各種金鑰，動態token]，這正是資料爬蟲的難度所在，也是爬蟲工作者存在的價值。通過各種驗證順利完成請求，後面python正則分分鐘，格式化出你想要的資料。
取長補短，善假於物：
學習requests庫，主要是簡化請求工作
beautiful soup取代枯燥易錯的正規表示式，簡化資料匹配，快速清洗
xpath語法lxml主要了解文件結構，知己知彼，好下手
phantomjs處理網頁中的動態js請求，模擬瀏覽器完成js的渲染，等到非同步情節，保證文件結構資料的完整性，所見即所得
selenium模擬瀏覽事件，支援多步連續請求，減少人工手動觸發［登入表單填寫，觸發表單傳送，調整登入成功頁等］
pyquery顧名思義，用python語言複製一版jquery,做前端的小夥伴都懂
就是學會用框架，能站在巨人肩膀上的人，能力往往都會會太差，推薦學習pyspider，體驗後真的很讚，多練習，熟能生巧。
nginx防盜煉 s3防盜煉
nginx防盜煉 編輯檔案 usr local nginx conf nginx.conf 以上 解釋如下 1 location中指定要防篡改的檔案型別 2 valid referers指定資源訪問是通過以下幾種方式為合法 none 直接通過url訪問，無referer值的情況 blocked re...
防盜煉與防防盜煉簡析
防防盜煉策略 所謂判斷引用位址，就是判斷瀏覽器請求時http頭的referer欄位的值。http referer是header的一部分，當瀏覽器向web伺服器傳送請求的時候，一般會帶上referer，告訴伺服器該請求是從哪個頁面位址過來的，伺服器因此可以獲得一些資訊用於處理。示例 html js c...
防盜煉問題
b是另乙個 的站長，b在未經a允許的情況下，偷偷使用a的 的資源，放置在自己 的網頁中，通過這種方法盜取空間和流量。在這樣的情況下，第三方 使用者看到的是b的 使用者不知道也不關心 裡的是來自於 由於oss是按照使用量來收費的，這樣使用者a在沒有獲取任何收益的情況下，反而承擔了資源使用費用。本文就是...