這裡建議使用anconda安裝，直接用pip install scrapy的話容易報錯
安裝anconda
cmd開啟終端 建立虛擬環境輸入命令：conda create -n scrapy_env
安裝 scrapy 命令：conda install scrapy
檢查安裝的包 命令：pip list
建立乙個專案 scrapy startproject myspider
建立抓取程式 scrapy genspider itcast ***.com（網域名稱）
此時專案結構如下：
├──myspider
│ ├── scrapy.cfg***********************************= 專案的配置檔案
│ ├── myspider***************===專案的python模組，將會從這裡引用**
│ │ ├──init.py
│ │ ├── items.py ***********************************=專案的目標檔案
│ │ ├── pipelines.py ******************************=== 專案的管道檔案
│ │ ├── settings.py ******************************==== 專案的設定檔案
│ │ ├── spiders *********************************** 儲存爬蟲**目錄
│ │ │ ├──init.py
│ │ │ ├── itcast.py~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 示例抓取檔案
執行itcast.py檔案，命令：scrapy crawl itcast --nolog(不用–nolog的話，有很多日誌輸出控制台)
scrapy安裝歷程
準備安裝的時候看到大家都說scrapy很難裝 網上也有各式各樣的教程 但是感覺和我的情況都有些出入 所以在這裡總結一下我的情況 首先嘗試了一下直接安裝scapy pip install scrapy 然後出現報錯 error microsoft visual c 14.0 is required.g...
minix學習歷程
note 以下所有操作都是在fedora core 5下完成的 bochs的安裝和使用 如何在bochs下利用root.mnx和usr.mnx啟動minix204 步驟 部分 最好通讀真個檔案 c.為了在bochs 下啟動minix204 我們只需要將a 步驟中的intel 2.0.4 i386 下...
Linux學習歷程
我是在大二的時候接觸到linux的，現在看來也差不多兩年了。這兩年裡我也從對linux什麼都不懂慢慢到別人眼中的高手。而同學們裝linux時或系統有問題時也會找我來幫忙解決問題了。而且我也打算以後從事這方面的工作，回想起這兩年的學習歷程，感慨很多。我的專業是軟體工程，但我直到高三才真正摸過電腦。而且...