問題：python 爬蟲如何入門學習？
先長話短說summarize一下：python。但正如上面所述，你同樣可以在學習scrapy中學習python。你需要學習
基本的爬蟲工作原理
基本的http抓取工具，scrapy
bloom filter:
如果需要大規模網頁抓取，你需要學習分布式爬蟲的概念。其實沒那麼玄乎，你只要學會怎樣維護乙個所有集群機器能夠有效分享的分布式佇列就好。最簡單的實現是python-rq:https://
rq和scrapy的結合：
後續處理，網頁析取(
)，儲存(mongodb)
前端相關知識。了解html與xml基礎語法，以便網頁理解網頁原始碼便於內容提取。在官方教程中推薦使用xpath執行資訊查詢。關於xpath可參見w3cschool中教程。更多的前端知識如css、js等可隨需求慢慢了解。
對於基本使用上述已足夠。
第一步還是安裝。
詳細步驟可以參見官方文件：筆者用
ubuntu
，所以從這裡說起。
ubuntu
下安裝：
最好的方式是使用官方的
ubuntupackage.
2. windows
下安裝。
win下安裝步驟有些多。請按照官方教程一步步來，鏈結如下：
本想一起寫乙個簡單的爬取w3school
的例子，內容太多了，轉到教程（二）中吧。
Scrapy框架基礎（一）
1.scrapy的概念 scrapy是乙個python編寫的開源網路爬蟲框架。它是乙個被設計用於爬取網路資料 提取結構效能資料的框架。2.scrapy框架的作用 少量的 就能夠實現快速的抓取 3.scrapy的工作流程 1.爬蟲中的起始url構造成request物件 爬蟲中介軟體 引擎 排程器 4....
爬蟲框架scrapy入門（一）
這段時間一直在學爬蟲，做了一些簡單的專案，爬取資料的過程中，被封過ip，需要翻牆，為了大規模的資料採集，開始學習scrapy框架。參照的是靜覓大神的 python3網路爬蟲開發實戰 本次爬取的 是scrapy官網 建議使用anaconda的一鍵安裝，我的電腦上同時有anaconda和pycham，一...
做研究的入門（一）
本文完全是根據自己學習台灣成功大學陳美霞老師翻譯的 研究是一門藝術 感受而來，向作者 wayne c.booth gregory g.colomb joseph m.williams和譯者陳美霞老師表示敬意！建議大家看過之後，覺得有所啟發的話，去讀讀原著，會更有收穫 如果看了以後覺得不怎麼樣的話，實...