之前在學校鼓搗兩個周的爬蟲還沒入門，前倆周王哥給點撥了下，有種茅塞頓開的感覺。
現針對小白入門階段總結下經驗
爬蟲的概念不須說，之前不懂構造請求這回事，工欲善其事，必先利其器，首先可以利用fiddler(charles和firebug都很厲害)觀察瀏覽器請求頁面過程的請求，觀察哪個才是需要構造的，觀察是get還是post，觀察request的headers和cookies，再利用python的requests庫中的方法發出請求，如果仍請求不到頁面可在requests.get()方法中使用proxies引數，將**之鄉fiddler，觀察爬蟲的請求和瀏覽器的請求有什麼差別，從而修改**
附兩周成果位址
16Python爬蟲 Scrapy小結
1 我們可以通過scrapy startproject h調出startproject的幫助資訊，在這裡可以看到scrapy startprojcct具體可以新增哪些引數。2 如果我們想要刪除某個爬蟲專案,我們可以直接刪除該爬蟲項日對應的資料夾即可方式。3 可以使用 genspider命令來建立 s...
網路爬蟲小結
python中可以用來爬取網路資料的庫有很多，常見的有 urllib urllib2 urllib3 requests scrapy selenium等。基本上可以分為3類 第一類 urllib urllib2 urllib3 requests 第二類 scrapy 第三類 selenium 第一類...
python小結 python小結
c python33新增到你的path 環境變數中，你可以在dos 視窗中 輸入以下命令 set path path c python33 id 方法的返回值就是物件的記憶體位址。在 行 首行 後插入至少一行特殊的注釋行來定義原始檔的編碼。coding encoding sys.modules 模組...