我在學習爬蟲，下面的內容都我經歷的過程，是筆記，也是總結．希望對同新有所幫助大體的思路就是 環境安裝->執行scrapy->分析網頁->模擬靜態網頁登入->模擬動態網頁登入
基於unbuntu,其它的沒有試試． python**對齊有點奇怪，**可能有的無法直接複製貼上使用，請見諒
如果你讓我在vim 或者text 中寫python**，我的內心是拒絕的．有pycharm如此神器，我為毛不用列簡單的了解下xpath 可以檢視下面的文件．
如果想更加快速的測試，可以在chrome中按下f12 (如何f12沒有用就 按 ctrl+shift+i),在控制台中輸入$x("xpath語句")這種方式來進行測試
了解歸了解，只是**寫了才能夠真正的理解．
該章節中假設網頁是簡單的 容易分析的．
過於複雜的頁面分析起來比較困難，尤其是中間執行一些js指令碼的．如果有客戶端重定向的
scrapy環境搭建
在spiders目錄下建立 doubanspider.py 檔案，內容如下 coding utf 8 import scrapy class firstspider scrapy.spider name douban 爬蟲的名字，執行時候使用 start urls 需要爬去的url def pars...
Scrapy環境搭建
win7系統下搭建scrapy環境 以我電腦f盤建立的venv為例 1.cd venv 2.cd scripts 3.activte deactivate 進入 退出 虛擬環境 4.cd 5.pip install c users administrator desktop twisted 18.4...
Scrapy環境搭建
建立乙個新的專案 scrapy startproject 專案名 2.生成爬蟲 scrapy genspider 檔名 3.執行 crawl scrapy crawl 爬蟲名稱 scrapy crawl 爬蟲名 o zufang.json o output scrapy crawl 爬蟲名 o zu...