最近想做乙個微博的搜尋頁文字分析的小專案，因為開放平台裡這個api的限制略多，決定進入爬蟲坑自己動手．
之前久聞scrapy大名，嘗試了一下，抓取網頁甚是好用，避免了許多http方面的繁瑣處理．不過還是卡在了登陸這一步上．
在scrapy中具體實現時，就是在爬取的spider類中，過載start_requests方法，生成乙個帶cookie的request，後續爬取的request同樣需要帶上cookie．
乙個爬取單個搜尋結果網頁並儲存的簡單spider**如下：
f.write(response.body)好了，在afterparse這個函式裡處理一下爬取的網頁，開命令列測試，done！
scrapy 中用selector來提取資料的用法
1.selector是乙個可獨立使用的模組，我們可以用selector類來構建乙個選擇器物件，然後呼叫它的相關方法如xpaht css 等來提取資料，如下 from scrapy import selector body selector selector text body title selec...
python爬蟲之使用靜態Cookie模擬使用者登入
首先介紹下cookie內容，什麼是cookie。cookie的引文原意是 點心 它是在客戶端訪問web伺服器時，伺服器在客戶端硬c盤上存放的資訊，好像是伺服器傳送給客戶的 點心 伺服器可以根據cookie來跟蹤客戶狀態，這對於需c要區別客戶的場合 如電子商務 特別有用。當客戶端首次請求訪問伺服器時，...
scrapy 把cookie並轉化為字典的形式
在用scrapy設定cookie的時候，需要從網頁上對應的頁面把cookie欄位複製下來，並轉化為字典的形式，下面 是對cookie的轉化過程 coding utf 8 class transcookie object def init self,cookie self.cookie cookie ...