一開始直接用pip install scrapy 安裝， 結果如圖
然後在群裡各種問， 最後群友們推薦anaconda下安裝， 關於這個可以參考anaconda 環境下安裝 scrapy。 總之也是乙個辛酸的故事~~~。 安裝好了在命令提示符下面輸入scrapy， 終於不是「scrapy不是內部或外部命令，也不是可執行的程式或批處理檔案。」 這個東西了-^-。
首先要先建立乙個工程
你會發現目錄下面有這個東西
介紹如下：
- 在工程中生成乙個spider：scrapy genspider demo python123.io。 demo表示爬蟲名字， pyhton123.io表示要爬取**網域名稱
- 生成的spider相關資訊如圖：
- spider的名字可以隨便取， 但是這個class必須繼承scrapy.spider
- name：spider名字
- allowed_domains：爬取網頁的網域名稱
- start_urls：爬取網頁的初始頁面
- parse方法：解析網頁的方法
- 接下來就是完成這個.yp檔案了。
簡單的總結一下
部分內容參考自：
爬蟲Scrapy框架的安裝和使用（Python）
好處 省事，快速搭建乙個系統，快速抓取資料。壞處 細節不清楚，框架的限制需要考慮，學習成本高，可能隱藏了很多未知的問題。安裝scrapy in ubuntu sudo apt get install python dev python piplibxml2 dev libxslt1 dev sudo...
Scrapy框架的安裝及使用
步驟1 環境準備 右擊ubuntu作業系統桌面，從彈出選單中選擇 open in terminal 命令 開啟終端。通過 cd home 切換到home目錄下。ls 檢視該目錄下的所有內容。圖1 切換目錄 mkdir scrapy 在home目錄下建立scrapy資料夾。圖2 建立資料夾 步驟2 s...
scrapy框架的安裝和搭建
scrapy是乙個為了爬取 資料，提取結構性資料而編寫的應用程式框架。可以應用在包括資料探勘 資訊處理或儲存歷史資料等一系列的程式中。其最初是為了網頁抓取 網路抓取 所設計的，也可以應用在獲取api 所返回的資料 如 amazon associates webservices 或通用的網路爬蟲中。s...