如何部署Scrapy 到Scrapyd上？

安裝上傳工具

1、上傳工具

scrapyd-client

2、安裝方法：

pip install scrapyd-client

3、上傳方法：

python d:\python27\scripts\scrapyd-deploy target -p project

注：target -- 主機位址，如

localhost;

project -- 工程名，如

stock_uc;

4、前提：

①假設python

安裝位置

d:\python27\

；②需進入工程目錄下執行上傳命令；

③可選引數：

--version r03,即：

python d:\python27\scripts\scrapyd-deploy target -p project --version r03

安裝排程工具curl

1、linux

系統一般情況下linux系統自帶

curl

2、windows

系統密碼：4lqh

2、安裝方法：

e:\bin-curl

2）新增解壓後的資料夾路徑到環境變數

path

中，比如：   

d:\python27\;d:\python27\scripts\;e:\bin-curl\;***

3）重啟電腦是環境變數生效；

4）測試，執行：

curl --help

檢視幫助資訊；

排程爬蟲

1、新增版本資訊

2、排程

spider

執行curl http://localhost:6800/schedule.json -d project=myproject -d    spider=somespider

3、取消

spider

的執行curl http://localhost:6800/cancel.json -d project=myproject -d      job=6487ec79947edab326d6db28a2d8651

4、列出工程

5、如何啟動

scrapyd

，以及如何把乙個現有的工程部署到

scrapyd

上面：第一步：輸入scrapyd，敲擊

enter

，等待：

第二步：在這個伺服器上部署工程，具體方法前面已經提到過

第三步：排程spider：

第四步：取消

第五步：列出工程

總結1，能正確安裝

scrapyd-client;

2，能夠正確安裝

curl

；3，學會

project

的上傳和

spider

的排程；

如何部署Scrapy 到Scrapyd上？

安裝上傳工具 1 上傳工具 scrapyd client 2 安裝方法 pip install scrapyd client 3 上傳方法 python d python27 scripts scrapyd deploy target p project 注 target 主機位址，如 localh...

scrapy部署 與 發布到scrapyd

scrapyd 安裝 發布 到 scrapyd pip install scrapyd 安裝完畢後，檢視scrapyd的配置檔案，scrapyd會在如下位置依次查詢配置檔案，並以最後乙個找到的配置檔案為準進行配置 etc scrapyd scrapyd.conf unix c scrapyd scr...

部署Scrapy專案

爬蟲執行緒 pip install scrapyd 安裝依賴 自動生成egg檔案 pip install scrapyd client pip install apscheduler pip install requests 檢視所有爬蟲 檢視爬蟲狀態 開啟爬蟲 格式舉例 每次更新後需要重新部署 s...