爬蟲現在的火熱程度我就不說了，先說一下這門技術能幹什麼事兒，主要為以下三方面：
01了解爬蟲是怎麼實現的
大部分爬蟲都是按「傳送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁資訊的過程。簡單來說，我們向伺服器傳送請求後，會得到返回的頁面，通過解析頁面之後，我們可以抽取我們想要的那部分資訊，並儲存在指定的文件或資料庫中。在這部分你可以簡單了解 http 協議及網頁基礎知識，比如 postget、html、css、js，簡單了解即可，不需要系統學習。
02
實現簡單的資訊爬取
python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議你從requests+xpath 開始，requests 負責連線**，返回網頁，xpath 用於解析網頁，便於抽取資料。如果你用過 beautifulsoup，會發現 xpath 要省事不少，一層一層檢查元素**的工作，全都省略了。掌握之後，你會發現爬蟲的基本套路都差不多，一般的靜態**根本不在話下，像知乎、豆瓣等**的公開資訊都可以爬取下來。當然如果你需要爬取非同步載入的**，可以學習瀏覽器抓包分析真實請求或者學習selenium來實現自動化爬取，這樣，知乎、時光網、貓途鷹這些動態的**也基本沒問題了。你還需要了解 python 的基礎知識，比如：檔案讀寫操作：用來讀取引數、儲存爬取內容list(列表)、dict(字典)：用來序列化爬取的資料條件判斷(if/else)：解決爬蟲中的判斷是否執行迴圈和迭代(for ……while)：用來迴圈爬蟲步驟
03
應對特殊**的反爬機制
爬蟲過程中也會經歷一些絕望啊，比如被**封ip、比如各種奇怪的驗證碼、useragent訪問限制、各種動態載入等等。
遇到這些反爬蟲的手段，當然還需要一些高階的技巧來應對，常規的比如訪問頻率控制、使用**ip池、抓包、驗證碼的ocr處理等等。
比如我們經常發現有的**翻頁後url並不變化，這通常就是非同步載入。我們用開發者工具去分析網頁載入資訊，通常能夠得到意外的收穫。
往往**在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的**已經難不到你了。
04scrapy 與高階分布式
使用 requests+xpath 和抓包**確實可以解決很多**資訊的爬取，但是對於資訊量比較大或者需要分模組爬取的話，就會顯得寸步難行。後來應用到了強大的 scrapy 框架，它不僅能便捷地構建 request，還有強大的 selector 能夠方便地解析 response，然而最讓人驚喜的還是它超高的效能，可以將爬蟲工程化、模組化。學會 scrapy，自己去嘗試搭建了簡單的爬蟲框架，在做大規模資料爬取的時候能夠結構化、工程化地思考大規模的爬取問題，這使我可以從爬蟲工程的維度去思考問題。再後來開始逐漸接觸到分布式爬蟲，這個東西聽著挺唬人，但其實就是利用多執行緒的原理讓多個爬蟲同時工作，能夠實現更高的效率。其實學習到這裡，你基本可以說就是乙個爬蟲老司機了，外行看很難，但其實並沒有那麼複雜。因為爬蟲這種技術，既不需要你系統地精通一門語言，也不需要多麼高深的資料庫技術，高效的姿勢就是從實際的專案中去學習這些零散的知識點，你能保證每次學到的都是最需要的那部分。當然唯一麻煩的是，在具體的問題中，如何找到具體需要的那部分學習資源、如何篩選和甄別，是很多初學者面臨的乙個大問題。不過不用擔心，我們準備了一門非常系統的爬蟲課程，除了為你提供一條清晰的學習路徑，我們甄選了最實用的學習資源以及龐大的主流爬蟲案例庫。短時間的學習，你就能夠很好地掌握爬蟲這個技能，獲取你想得到的資料。
如果你是python小白使用者，滿足以下條件：
會使用電腦，但從來沒寫過程式；還記得一點點初中數學學的數學知識；想從程式設計小白變成專業的程式猿；每天能抽出半個小時學習。不要再猶豫了，這個教程就是為你準備的！
那麼最後如何獲取這份筆記呢？
這篇文章才是學習scrapy高效爬蟲框架的正確姿勢
寫給看到最後的你 scrapy 是一套基於基於twisted的非同步處理框架，純python實現的爬蟲框架，使用者只需要定製開發幾個模組就可以輕鬆的實現乙個爬蟲，用來抓取網頁內容以及各種，非常方便 1 排程器 scheduler 爬蟲，是使用者最關心的部份。使用者定製自己的爬蟲 通過定製正規表示式等...
看了這篇文章，雅思不再發愁
雅思該如何準備？竅門在這裡！emm 在開始之前，為了滿足我自己的虛榮心，所以先展示一下我的雅思考試分數吧，哈哈哈。其實，雅思這個東西你會發現，過了其實也就這樣，科學的方法 合理的備考時間 合適的輔導資料 堅持。當時，我的時間比較緊，沒有太多時間準備，所以當時我的策略就是 節省時間並高效完成 況且當時...
看了這篇文章，有種由內而外的力量。
沒有任何事 任何人需要你過了半夜12點還苦想不睡。任何東西都不能以健康做交換。記住，你只能活一輩子。請容許我說一句讓很多人會不滿意的話 普通人。不配自殺！生命的意義還沒有實現。卻連自己家人的快樂都想剝奪 安安份份學習。讀完該讀的書。想傷心時，痛快地傷心，想歡喜時也同樣痛快地歡喜。沒有哪個人比你的生命...