在這裡需要說明一下，一般來說，資料抓取工作主要有兩種方式：一是通過抓包工具（fiddle）進行抓包分析，獲取ajax請求的url，通過url抓取資料，這也是更為通用、推薦的方法；另外一種方法就是後面要使用的模擬瀏覽器行為的爬蟲。
那麼，在源**中資訊不可見的情況下，通過什麼方法能夠提取js**中的html**用以解析呢？普通的beautifulsoup肯定是不行了，這樣的後端解析的情況，只有上瀏覽器引擎了！模擬瀏覽器的行為，通過渲染引擎（也就是瀏覽器核心）將後端js**進行渲染，進而獲取到dom用以資訊的提取。
一番查閱後了解到，瀏覽器測試工具selenium+firefox/phantomjs能夠完成這項工作（找到這些的時候簡直要哭了）。selenium是乙個用於web應用程式測試的工具。selenium測試直接執行在瀏覽器中，就像真正的使用者在操作一樣。與selenium相容性最好的就是firefox了，執行過程中能夠通過firefox看到執行過程，但firefox的缺點在於執行速度太慢，所以一般來說，使用firefox用於除錯**，執行的時候使用phantomjs能加快速度。
最後，做乙個積極主動的人，這是現代人極其珍貴的品質，與大家共勉。
（by mrhammer 2016-05-02 下午兩點 @bin house rainy）
Python 微博搜尋爬蟲
由於網頁端反爬蟲機制比較完善所以才去移動端進行爬蟲。對網頁進行抓包，找到相關資料 檢視資料是否與網頁的內容相同 分析多組資料的請求頭 通過網頁分析構造url位址對，位址資訊訪問。import requests 構造搜尋內容 data 反爬蟲，模擬遊覽器訪問 headers print result ...
微博爬蟲python 微博爬蟲 python
本文爬取的是m站的微博內容，基於python 2.7 一 微博內容爬取 1.要爬取的微博首頁 2.手機微博是看不到翻頁，是一直往下載入的，但是其json格式的資料仍然以翻頁的形式呈現。3.開啟開發者工具，向下翻頁面，可以在network下的xhr的響應檔案中，找到json檔案的 如 通過分析發現每個...
爬蟲 新浪微博（登陸訪問 cookie訪問）
一 思路 登入 進入指定頁面 獲取cookie 帶cookie訪問相關頁面。注 貌似微博頁面稍微改了一下 現在通過登入直接進入個人中心的過程中所獲取的cookie不能用於訪問其他頁面，因此，才會在登陸後加一層進入指定頁面用於獲取可用的cookie。二 1 登入並獲取cookie url 2 cook...